logo

大模型架构怎么演进:混合专家与超长上下文

作者:公子世无双2026.11.16 10:24浏览量:1

简介:本文梳理混合专家、多Token预测、混合注意力和训练推理协同设计等架构要点,说明各项技术解决什么问题、带来哪些代价,并给出模型选型时的评测与验证思路,帮助读者判断哪些设计值得借鉴。

一、先说清楚:这里讨论的是什么

近两年,大语言模型的竞争焦点从单纯堆参数,转向两个问题:同样的算力能做出多强的模型,以及模型能否稳定处理很长的输入。下文以一类公开讨论较多的架构设计为例(下称示例架构),它组合了混合专家模型(MoE)、多Token预测(MTP)、一种替代残差连接的新型信息通路,以及由两种注意力共同组成的混合注意力机制。文中的细节来自对公开资料的整理,具体参数和实验数字应以原始技术报告为准。

二、为什么传统架构在长文本上吃力

标准自注意力的计算量与序列长度的平方相关。序列从几千Token增加到几十万Token时,计算量和显存占用都会快速上升。稀疏注意力和滑动窗口注意力能缓解这个问题,但窗口之外的信息容易丢失,实现也更复杂。

稠密模型中,每个Token都会激活全部参数。参数量增大,单次计算量也随之增大。MoE的思路是每次只激活一部分专家,让参数规模和单次计算量部分脱钩。代价是路由负载不均衡,以及跨设备通信增加。

深层网络中,残差连接可能让深层模块学到接近恒等映射的结果,有效表达能力没有被充分利用。这一现象常被称为表示坍缩。

三、几个关键设计

1. 专家路由:更平滑的打分与更轻的均衡约束

  • 亲和度打分:示例架构把路由打分函数从Sigmoid换成Softplus。Softplus在输入为负时仍保留一定梯度,一般认为有利于路由信号回传,但收益需要消融实验确认。
  • 负载均衡:采用无辅助损失的路由,只加一个序列级的轻量平衡项。传统辅助损失会直接扭曲路由结果。轻量约束的目标是减少这种干扰,同时避免同一序列的Token全部涌向少数专家。
  • 浅层替换:前几层的稠密FFN换成基于哈希的MoE层。哈希路由由Token ID直接决定专家,不需要学习路由参数,前几层的计算开销因此减少。代价是路由与语义无关,表达能力受限,所以通常只用于浅层。

多Token预测沿用了前代已验证的做法:模型在预测下一个Token的同时,再预测后面若干位置的Token。这相当于附加了一个辅助训练目标,有助于建模局部连贯性。它对推理能力的影响在不同规模上的幅度并不一致,选型时需要单独评估。

2. 流形约束超连接:把残差改成受约束的映射

残差连接可以理解为输入直接加到输出上。示例架构的做法是把层间信息传递约束在一个可学习的流形附近,让深层模块的输入保持在合理的表示空间内。直观上看,恒等映射的思想仍然保留,只是映射的形式变成了可学习且受约束的。

这一设计的价值取决于两点:梯度是否更稳定,以及训练成本增加多少。公开材料通常只报告相对结果,基线条件不统一。读者在引用“收敛更快”之类的结论时,应先核对基线配置。

3. 混合注意力:CSA负责局部,HCA负责全局

混合注意力由两条支路组成。

压缩稀疏注意力(CSA)处理局部依赖和中等距离依赖。它只计算对角线附近的稠密注意力,加上按固定步长采样的跨块注意力。在块大小和采样步长固定、暂不计入其他开销时,主注意力的计算量与序列长度近似线性相关,具体比例取决于块大小和步长的设置。

重压缩注意力(HCA)把长序列压缩成固定维度的全局摘要状态。它的显存开销不随序列长度线性增加,用来补充CSA在长距离信息上的不足。压缩本身会丢失细节,所以HCA更适合提供全局语义,不适合逐字召回。

两条支路的输出经过门控加权后合并。门控权重由模型学习得到,合并方式会直接影响长距离召回能力,需要在目标任务上验证。

四、推理时的KV Cache怎么管理

推理阶段,KV Cache占用大量显存。混合注意力下,CSA产生的局部Key/Value与HCA产生的全局压缩状态,形态和更新频率都不同。因此常见做法是把缓存拆成两个区域:

  • 局部缓存区:存放CSA的Key/Value,放在高带宽显存中,保证低延迟访问。
  • 压缩状态区:存放HCA的全局状态。每层通常只需维护少量状态,占用较小,可以常驻显存。

稀疏注意力内核可以根据预定义的稀疏模式,只读取有效块的KV向量,跳过无效计算。这类加速依赖特定内核的支持。更换硬件或推理框架后,收益可能明显不同。

对于百万Token级别的输入,部分缓存会下放到磁盘等更慢的存储层。滑动窗口类缓存还可以在三种策略之间取舍:全量保存、压缩保存、只保留关键Token。策略越省空间,重建精度通常越低,应按业务的延迟和精度要求选择。

显存可以用一个粗略的估算式:缓存总量约等于层数、每层KV维度、序列长度和并发数的乘积。具体数值需要代入真实的头数、精度和压缩比。

五、训练与推理的系统支撑

训练:低精度与优化器

示例架构在训练中使用MXFP4格式的量化感知训练。前向计算采用4位浮点格式,反向传播保留较高精度的梯度,并依靠缩放因子控制量化误差。这种做法能降低显存峰值,让同样的硬件支持更大批次或更长序列。

低精度训练也有风险。数值敏感的任务,例如多步数学推理,对误差更敏感。实践中通常需要保留高精度的主权重,设置损失尖峰的监控和回滚机制,并在训练前后对比评测结果。

优化器方面,稠密参数使用Muon优化器,其更新基于动量与正交化处理。MoE的稀疏专家参数则采用ZeRO式分片,各设备按需拉取所需参数。分片能降低单卡显存压力,代价是通信量增加。

推理:词表投影并行化

推理时,输出层的词表投影是主要开销之一。它的矩阵维度为隐藏维度乘以词表大小。词表达到十万量级时,这一步在单Token生成耗时中占比不低。示例架构把词表维度切分到多张卡上并行计算,并通过流水线让Token生成与投影计算重叠。收益大小取决于卡间带宽和批次大小。

六、后训练:用教师模型代替独立奖励模型

示例架构在后训练中采用同策略蒸馏(On-Policy Distillation,OPD)。学生模型对同一提示词采样,教师模型对同一提示词给出参考输出,系统比较两者差异,据此构造更细粒度的训练信号。

这种方法省去了训练独立奖励模型的成本,但需要一个能力更强的教师模型。采样和教师推理都会增加计算开销。OPD更适合作为RLHF的补充,或在教师模型可得、成本可接受时替代奖励模型。没有强教师模型的团队,传统偏好建模仍然是可行的路径。

为支持百万Token级别的强化学习,推理系统采用可抢占的Rollout服务。采样任务可以被高优先级任务打断,并以检查点形式暂存。单个采样失败不必导致整个训练批次重来。训练任务通常在隔离环境中运行,以保证长时间任务的稳定性与数据安全。

七、适用场景与选型思路

这类架构在以下场景中有明显优势,但每个场景都有前提条件:

场景 主要需求 需要关注的条件
长文档处理 全文覆盖与关键细节召回 文档长度分布、召回精度要求
仓库级代码理解 跨文件上下文

发表评论

活动