logo

从视觉到生成:深度学习核心模型底层原理解析

作者:宇宙中心我曹县2026.11.16 11:52浏览量:0

简介:本文面向已完成卷积神经网络(以经典视觉课程为代表的)基础学习的读者,系统梳理从视觉Transformer到大规模语言模型、人类反馈强化学习、多模态视觉语言模型以及扩散模型的底层运行原理。文章不停留在"是什么",而是逐层拆解每个模型"为什么这样设计、内部如何协作、关键流程如何运行",帮助读者建立从CNN到Transformer、再到生成式模型的完整原理认知,并理解各技术边界与常见误区。

一、原理概述:从判别式到生成式的范式演进

在计算机视觉基础课程中,通常已经掌握了卷积神经网络(CNN)的卷积、池化、残差连接、反向传播等核心机制。然而现代视觉与人工智能领域的技术重心,已经从”如何做分类”的判别式模型,转向了以Transformer为骨干、以大规模预训练为范式、以生成为目标的模型体系。

本文讨论的正是这一进阶阶段的核心技术原理,包括五条主线:

  • 视觉Transformer:如何将图像切分为序列并交给注意力机制处理;
  • 大规模语言模型训练:数据、分词、架构、预训练、指令微调的完整链路;
  • 基于人类反馈的强化学习(RLHF):如何让模型输出对齐人类偏好;
  • 多模态视觉语言模型:如何让视觉编码器与语言模型协作;
  • 扩散模型与潜空间生成:如何通过”加噪—去噪”实现内容生成。

理解这些原理的关键,在于把握一个共同底层逻辑:现代模型普遍采用”序列化表示 + 大规模预训练 + 下游适配”的结构。

二、视觉Transformer:图像如何变成序列

视觉Transformer的核心命题是:能否把图像当作”一段句子”来处理,从而复用自然语言处理中已经验证高效的注意力机制。

2.1 patch 划分与 token 化

传统卷积依赖局部感受野与平移等变性,而Transformer需要处理的是一维序列。因此第一步是将二维图像切分成固定大小的图块(patch),例如切成若干 16×16 的小块。每个图块被展平后,通过一个线性投影层映射为固定维度的向量,即一个 token。

为什么这样设计?因为注意力机制的计算复杂度与序列长度相关,把图像切块可以将”像素级”的巨大序列压缩为”图块级”的可控序列,同时保留空间结构信息。

  1. # 伪代码:视觉Transformer的前向处理
  2. patches = split_image(image, patch_size=16x16) # 图像切块
  3. tokens = linear_projection(patches) # 每个patch映射为向量token
  4. tokens = prepend_class_token(tokens) # 序列头部加入分类token
  5. tokens = tokens + positional_encoding # 叠加位置编码
  6. for layer in transformer_blocks: # 多层:多头注意力 + 前馈网络
  7. tokens = layer(tokens)
  8. logits = mlp_head(tokens[class_token_index]) # 用分类token输出预测

2.2 位置编码的作用

注意力机制本身对输入顺序是”无感知”的——它把序列当作一个无序集合。如果直接输入打乱顺序的token,结果会完全相同。位置编码正是为弥补这一缺陷:它将每个token在原图中的二维坐标信息编码进向量,使模型能够区分”左上角图块”和”右下角图块”。没有位置编码,模型就无法理解空间关系。

2.3 分类 token 的作用

序列输出是一组token,而分类任务需要一个全局的表示。做法是额外引入一个专门的分类token,拼接到序列头部。经过多层自注意力后,这个token已经通过注意力”看到”了所有其他图块的信息,从而聚合出全图的全局语义。因此可以直接取它的输出做分类。

2.4 预训练与微调

视觉Transformer之所以能在数据量有限的场景表现良好,依赖于”大规模预训练 + 下游微调”的范式:先在海量图像(如大规模分类任务)上预训练,学到通用的视觉表征;再针对具体下游任务(检测、分割等),用较少数据微调。

三、大规模语言模型:训练流程的五个阶段

语言模型的训练是一条清晰的流水线,理解每个阶段的输入输出,才能理解模型能力从何而来。

3.1 数据与分词

数据是模型的”燃料”。训练语料通常需要经过清洗、去重、质量过滤。分词(tokenization)则把文本切分为子词单元,映射为整数ID。分词质量直接影响序列长度与语义粒度:切分过细会拉长序列、增加计算;过粗会导致词表爆炸、罕见词无法表示。子词分词(如基于统计合并的方法)是业界常见的折中方案。

3.2 模型架构

主流架构采用仅解码器(decoder-only)的因果注意力结构:每个位置只能看到自己左侧的token,从而以”预测下一个token”的自监督目标完成训练。这种设计使同一份无标注文本可以生成海量训练信号。

3.3 预训练

预训练阶段的目标函数极其简单:给定前文,预测下一个token。通过在海量文本上进行梯度下降,模型逐步学到语法、事实知识、推理模式等能力。这一步计算量最大,决定了模型的”基础素质”。

3.4 指令微调(SFT)

预训练模型只会”续写”,不会”应答”。指令微调使用”指令—回答”配对数据,以监督学习方式训练模型,使其学会遵循指令、给出符合期望格式的回答。这是从”文本生成器”到”对话助手”的关键转变。

3.5 评测

评测需要在多维度展开:知识准确性、推理能力、安全性、指令遵循度等。评测不仅是打分,更是发现能力短板、指导后续优化的反馈环节。

四、RLHF:让输出对齐人类偏好

监督微调依赖人工标注的标准答案,但很多任务(如”回答是否有帮助”)没有唯一正确答案。基于人类反馈的强化学习正是为解决这一问题。

4.1 三个阶段

  • 监督微调:先在高质量示范数据上训练,得到初始策略模型;
  • 奖励模型训练:让人类对模型的多个输出进行排序,用这些偏好数据训练一个奖励模型,使其能给”更好的回答”打更高分;
  • 强化学习优化:以语言模型为策略、奖励模型为评分函数,通过强化学习(常见为近端策略优化类算法)调整模型,使其生成更高奖励的输出。

4.2 为什么需要奖励模型

奖励模型的作用是把”人类偏好”这一无法直接微分的信号,转化为一个可优化的数值函数。强化学习阶段正是通过最大化这个数值来间接对齐人类偏好。为避免模型为”骗高分”而偏离合理输出,训练中通常加入与初始模型的偏离惩罚(KL约束),防止能力退化。

五、多模态视觉语言模型:连接两个世界

要让语言模型”看懂图”,需要把视觉信息接入语言模型。核心由三部分协作完成。

5.1 视觉编码器

视觉编码器(常为预训练好的视觉Transformer)负责把图像编码为一组视觉特征向量。它相当于”眼睛”,把像素转化为富含语义的表征。

5.2 连接模块

视觉特征的维度与语义空间,和语言模型内部表示并不天然对齐。连接模块(如一个投影层或小型映射网络)的作用是把视觉特征”翻译”到语言模型能理解的向量空间,让两者在语义上对齐。这是跨模态协作的关键枢纽。

5.3 视觉指令数据与训练流程

训练需要构造”图像—指令—回答”三元组数据。常见做法是先分别预训练好视觉编码器与语言模型,再通过视觉指令数据微调连接模块与语言模型,使模型学会根据图像回答问题。冻结部分模块可以显著降低成本、保持语言能力不退化。

六、扩散模型:通过加噪与去噪生成内容

扩散模型是当前图像生成的主流原理,其思想与判别式模型截然不同。

6.1 前向加噪

前向过程是一个固定的、无需学习的破坏过程:对真实样本逐步添加高斯噪声,经过足够多步后,图像退化为纯噪声。

6.2 去噪训练

训练目标很反直觉:让网络学会预测”在某一步被加进去的噪声”。给定带噪样本和时间步,网络输出预测的噪声,与真实噪声做均方误差比较。

  1. # 伪代码:扩散模型训练
  2. x0 = sample_real_image()
  3. t = sample_random_timestep()
  4. noise = sample_gaussian()
  5. xt = add_noise(x0, t, noise) # 前向加噪
  6. pred = model(xt, t) # 网络预测噪声
  7. loss = mse(pred, noise) # 预测噪声与真实噪声对齐

6.3 反向采样

推理阶段与训练方向相反:从纯噪声出发,反复调用网络预测噪声并逐步去除,最终”雕”出一张清晰图像。

6.4 训练与推理的区别

训练是”给定干净图像,学去噪”;推理是”给定纯噪声,生成图像”。二者的方向相反,这正是扩散模型最重要的原理认知。

七、潜空间扩散:在压缩空间中生成

直接在像素空间做扩散计算量极大。潜空间扩散模型的关键改进是:先用一个自编码器把图像压缩到低维潜空间,在潜空间中完成扩散与去噪,最后再解码回像素。

为什么有效?因为潜空间维度更低,注意力与卷积的计算负担大幅下降;同时人类感知上重要的语义信息被保留在潜变量中。条件生成(如根据文字描述生成图像)则通过把条件信息(如文本编码)注入去噪网络实现,使生成结果受条件引导。

八、技术优势、限制与常见误区

维度 收益来源 需注意的边界
视觉Transformer 全局感受野、易扩展到大规模预训练 需要大量数据;细粒度小目标可能不如卷积
语言模型 自监督可无限利用无标注文本 存在幻觉;知识时效性受限
RLHF 对齐难以量化的主观偏好 奖励模型可能被”钻空子”;需KL约束
多模态 视觉与语言语义对齐实现图文理解 连接模块是瓶颈;数据构造成本高
扩散模型 生成质量与多样性俱佳 采样步数多、推理慢;潜空间方法缓解此问题

常见误区:

  • 误认为视觉Transformer”取代”了卷积。实际上二者各有适用场景,卷积的局部归纳偏置在小数据上仍有优势。
  • 误认为RLHF是”监督微调的另一种叫法”。RLHF引入了奖励模型与强化学习,本质是通过偏好信号间接优化,而非直接拟合标准答案。
  • 误认为扩散模型的网络”生成图像”。网络只预测噪声,真正的生成来自迭代去噪的整个过程。
  • 误以为潜空间扩散只是”省内存”。它同时通过压缩改变了计算复杂度与生成质量的权衡关系。

九、总结

从视觉Transformer到扩散模型,这些技术的共同底层逻辑是:把不同模态的输入统一为序列化或向量化表示,再通过大规模预训练获得通用表征,最后用下游适配对齐具体目标。理解这一点,就能把看似分散的模型串联成一条清晰的技术主线。

对进阶学习者而言,建议按”先理解单模态(视觉Transformer、语言模型)→ 再掌握对齐机制(RLHF、多模态连接)→ 最后攻克生成原理(扩散、潜空间)”的顺序推进,并通过复现小规模的patch切分、噪声预测、去噪采样等实验来验证原理。在动手实验时,可借助主流云服务商提供的容器平台、对象存储与监控告警等通用能力搭建训练与追踪环境,把注意力集中在原理验证而非基础设施搭建上。

发表评论

活动