logo

LLM架构技术解析:核心组成、演化逻辑与选型要点

作者:热心市民鹿先生2026.11.18 11:47浏览量:0

简介:本文系统解析“大语言模型架构”这一基础概念:它是什么、由哪些模块构成、注意力与前馈网络如何协作、近年结构演化背后的工程动因,以及架构如何直接决定推理成本与部署形态。适合希望建立技术判断力的开发者、算法工程师与选型人员,读完可掌握架构对比方法、参数量与算力的关系、常见认知误区以及落地注意事项。

一、概念定义:什么是 LLM 架构

LLM 架构(Large Language Model Architecture),指的是一个自回归语言模型在给定参数规模下,其张量组织方式、算子拓扑结构以及信息流动路径的固定约定。它回答的是一个非常具体的问题:一段 token 序列从进入模型到输出下一个 token 的概率分布,中间要经历哪些运算、这些运算按什么顺序串联、每一层的宽度与深度如何设置。

理解这个概念有三个视角:

  • 技术视角:架构是“计算图的形状”。它规定了隐藏维度 d、层数 L、注意力头数、KV 头数、前馈中间维度、词表大小 V 等一组结构性超参数,以及它们之间的组合方式。
  • 工程视角:架构是一份“成本契约”。它决定了推理时显存被多少参数和多大的 KV 缓存吃掉、能被切分成多少路并行、单卡能承载多大并发、量化后精度损失落在哪里。架构选型在多数生产场景里,等价于成本选型。
  • 使用视角:架构是能力的结构性底座。它影响模型对长上下文的利用效率、对稀疏知识的调用方式、指令遵循的稳定性边界。虽然具体能力主要由数据配比与后训练决定,但架构划定了这些能力可以生长的上限。

一个值得强调的前提:架构是当代大模型中少数可直接观测、可比对的维度。训练数据、优化器策略、学习率调度、算力预算往往披露有限,而架构信息通常能从模型配置文件与权重元数据中读出。这正是“做架构对比”仍然有价值的根本原因。

二、背景与价值:为什么要单独研究架构

回到最初那个观察:把若干年前的早期模型与当下主流旗舰开源模型放在一起看,结构相似度相当高——仍然是 Transformer 主干、仍然是“注意力子层 + 前馈子层”交替堆叠、仍然是残差连接。变化集中在若干局部构件的替换上:绝对位置编码换成旋转位置编码,多头注意力大规模让位给分组查询注意力,门控前馈网络取代了传统的前馈层。看起来像“打磨”,但每一处替换都对应明确的工程动因。

这件事的价值在于:

  1. 归因成本低。模型好或不好,原因分散在数据、算法、算力三处,很难分离。架构是其中最易读的一层,适合作为对比的起点。
  2. 成本与架构强相关。同样标称“千亿参数”的两个模型,一个全量激活、一个稀疏激活,单 token 计算量可能相差数倍。不理解架构,就无法估算真实资源账单。
  3. 演化方向具有收敛性。当业界在多个独立方向上做出相似选择(例如普遍采用分组查询注意力),说明这不是风格偏好,而是工程约束下的理性收敛。识别收敛点,就是识别了当前的成本效率前沿。

三、核心组成:拆解关键模块

3.1 分词与嵌入层

输入文本先经子词切分(常见为字节对编码类算法)转成 token id,再通过嵌入矩阵映射为 d 维向量。这里有两个常被忽略的成本点:词表规模 V 直接影响输出层参数量(V×d)与每个位置的 logits 计算量;输入嵌入与输出投影共享权重(权重绑定)是常见做法,用于在扩大词表时控制参数增量。

3.2 位置编码:从绝对到旋转

自注意力对输入顺序本身是置换等变的,必须额外注入位置信息。演化路径大致是:

  • 绝对位置编码:可学习位置嵌入或正弦函数。实现简单,但超出训练长度后外推能力弱。
  • 相对位置编码:在注意力打分中引入相对距离偏置,表达更贴合语言直觉,但算子不通用、实现与优化复杂。
  • 旋转位置编码(RoPE):对 query/key 向量按位置做二维旋转,使内积结果天然只依赖相对位移。它无需额外参数、与各类注意力变体兼容,并且可以通过调整旋转基频、位置插值等技巧把可用上下文长度外推到远超训练长度。这解释了它为何成为当前的事实默认。

工程上必须注意:位置编码能外推,不等于模型能有效利用外推长度。扩展窗口带来的是“可容纳”,检索精度、中段信息召回等能力需要靠训练目标与数据分布配合获得。

3.3 注意力机制:MHA、MQA、GQA 与 KV 压缩

自注意力的计算量随序列长度呈平方增长,而解码阶段真正的瓶颈通常是 KV 缓存的显存占用,其规模近似为:

  1. KV缓存字节数 ≈ 2 × 层数 × KV头数 × 头维度 × 序列长度 × 并发数 × 每元素字节数

由此产生三条主要路线:

  • 多头注意力(MHA):每个 query 头对应独立的 K/V 头。表达力完整,但缓存最大。
  • 多查询注意力(MQA):所有 query 头共享一组 K/V。缓存降为原来的 1/n,但质量与训练稳定性会受损。
  • 分组查询注意力(GQA):把 query 头分成若干组,组内共享 K/V。分组数 g 在 1 与 n 之间连续可调,是质量与成本之间的显式旋钮,目前是主流默认选择。
  • KV 压缩类方案:将 K/V 投影到低维潜空间后再缓存,在推理时还原或直接在潜空间计算注意力,以较小的质量代价换取缓存的大幅压缩。此外还有线性注意力、状态空间类混合结构等路线,各自适配不同场景。

工程含义很直接:调 g 值,本质上是在调并发能力。

3.4 前馈网络与激活函数

前馈层通常承载非嵌入参数中约三分之二的比例,是模型存储知识与模式的主要载体。结构演化是:

  1. # 早期:单层扩展 + 激活 + 回投
  2. h2 = activation(h1 @ W_in) @ W_out # W_in: d -> 4d, W_out: 4d -> d
  3. # 现在:门控结构,激活函数由 GELU 类换为 SwiGLU
  4. gate = silu(h1 @ W_gate)
  5. up = h1 @ W_up
  6. h2 = (gate * up) @ W_down # W_gate/W_up: d -> ~8d/3, W_down: ~8d/3 -> d

两点值得注意。其一,中间维度从 4d 降到约 8/3·d,是为了在增加一路投影的前提下保持参数量近似守恒——这说明替换的目标从来不是“更强”,而是“同成本下更好”。其二,门控引入了逐元素的乘性交互,使梯度路径更平滑,同时缓解了传统激活函数在负半区长期输出零值导致的“死神经元”问题。

3.5 归一化与残差连接

主流实现已从 LayerNorm 转向 RMSNorm:去掉均值中心化与偏置项,仅按均方根做缩放,少一次归约、少一组参数,推理更快而效果相当。归一化位置也从 Post-Norm 迁向 Pre-Norm:残差主干上不放归一化,梯度回传路径干净,配合残差缩放系数可稳定数十上百层的训练。这一组合是“能训得深”的结构性前提。

3.6 稀疏化:混合专家(MoE)

稠密模型对每个 token 激活全部参数;MoE 在每层放置多个专家子网络,由路由器为每个 token 选择 top-k 个专家参与计算。它的核心价值在于解耦容量与算力:总参数量决定显存与存储占用,激活参数量决定单 token 计算量,两者可以相差数倍。

主要挑战包括负载不均衡(需要辅助损失或无辅助均衡策略)、路由决策抖动带来的训练不稳定、专家并行引入的跨设备通信开销,以及推理时路由分布不可预测导致的批处理效率波动。

四、工作原理:一次前向传播发生了什么

  1. def forward(tokens, position_ids):
  2. h = embed(tokens) # [batch, seq, d]
  3. for layer in layers: # 堆叠 L 层
  4. # --- 注意力子层:跨位置信息混合 ---
  5. q, k, v = layer.qkv_proj(h) # 按分组规则投影出 q 与共享的 k/v
  6. q, k = apply_rope(q, k, position_ids) # 注入相对位置信息
  7. attn_out = causal_attention(q, k, v) # 因果掩码,只看左侧
  8. h = h + layer.attn_proj(attn_out) # Pre-Norm + 残差
  9. # --- 前馈子层:逐 token 独立变换 ---
  10. h = h + layer.ffn(h) # 门控 FFN;MoE 时先经路由选专家
  11. logits = lm_head(rms_norm(h[:, -1, :])) # 通常仅取最后位置
  12. return softmax(logits)

由此可以推出一条非常实用的近似公式:

  1. 单次前向计算量 ≈ 2 × 激活参数量 (矩阵乘法 dominates)
  2. 显存占用 ≈ 总参数量 × 精度字节数 + KV 缓存 + 激活值

这两条账必须分开算。算力账单看激活参数量,显存账单看总参数量与 KV 缓存。理解了这个分离,才能解释为什么稀疏模型“跑得起但装不下”、为什么长上下文场景下 KV 缓存会成为主要矛盾。

另一个关键差异是训练与推理的计算特性完全不同:训练一次并行处理全部位置,算术强度高,能把加速器算力打满;解码每步只产生一个 token,却仍需搬运全部权重,属于带宽受限场景。这直接解释了连续批处理、KV 缓存复用、前缀缓存等推理优化为何如此重要——它们的共同目标是提高带宽利用率。

五、典型应用场景

  • 私有化与小规模部署:倾向稠密结构、中等层数、GQA 分组较激进、量化友好,追求单机可跑与显存可控。
  • 高并发在线服务:优先考虑 KV 缓存更小的注意力配置,或采用稀疏激活降低单 token 计算量,用并发吞吐换取单位成本优势。
  • 超长文档与代码库理解:关注位置编码外推质量、注意力实现是否支持分块或稀疏模式、以及中段信息召回表现。
  • 推理增强型模型:架构往往与基础模型同构,差异集中在后训练阶段——通过长链式思维监督数据与偏好优化,让模型在推理时投入更多 token。架构不变,行为范式变了。
  • 多模态扩展:常见做法是文本主干 + 视觉编码器 + 投影对齐层,本文聚焦的文本能力仍是底座。
  • 二次开发与微调:参数高效微调方案对归一化类型、词表大小、是否绑定权重较为敏感,选型前应确认这些结构细节。

六、容易混淆的相关概念

概念对 区别要点
架构 vs 参数量 架构是结构约定,参数量是结构的产物;同架构可缩放出多个参数档
架构 vs 训练算法 架构决定表达能力上限,训练算法决定这个上限被兑现多少
基础模型 vs 对话模型 vs 推理模型 三者架构可完全相同,区别在训练阶段与优化目标
稠密模型 vs 稀疏 MoE 前者算力与显存同步增长;后者容量与算力解耦,但显存压力不减
架构 vs 推理引擎/框架 前者是模型自身结构,后者是运行时的调度、缓存与并行实现
上下文窗口 vs 有效上下文 前者是位置编码与实现的容纳上限,后者是实际检索与利用能力

七、使用与选型注意事项

  1. 不要用参数量单独判断成本,务必同时确认总参数量与激活参数量。
  2. 不要把“支持长度”当作“有效长度”,长上下文需按业务文档分布做实测验证。
  3. 不要只看架构图,应核对配置文件中的实际数值与权重元数据,架构图常省略分组数、中间维度等关键参数。
  4. 区分权重量化与 KV 缓存量化,长上下文与高并发场景下后者对显存的影响往往更大。
  5. 核对许可与商用条款,包括二次分发、微调产物使用范围与输出限制。
  6. 配套的服务化能力按需组合:模型托管与推理服务、对象存储存放模型与数据、容器平台承载弹性算力、日志服务与监控告警保障可观测性、身份认证与配额管理控制访问边界。百度智能云在这类通用能力上提供了较为完整的组合,可依据实际负载选择部署形态。
  7. 警惕评测污染,公开榜单参考意义有限,应以贴近业务的私有评测集为准。

八、总结

LLM 架构的本质,是一套在“表达能力”与“资源成本”之间反复权衡后形成的结构性约定。从位置编码到注意力分组,从激活函数到归一化位置,近年演化的主线并非追求结构上的颠覆,而是在保持主干稳定的前提下,把每一处构件替换到更优的成本效率点。对开发者与选型人员而言,掌握架构的意义不在于读懂一张结构图,而在于具备两种能力:一是从结构推断资源账单与并发上限,二是判断某项能力差异究竟来自架构、数据还是训练。抓住“算力看激活参数、显存看总参数与 KV 缓存”这条主线,再回到具体业务负载做实测,架构选型就从玄学变回了工程问题。

发表评论

活动