循环计算大模型解析:参数复用如何换来更深计算
作者:半吊子全栈工匠2026.11.18 11:50浏览量:0简介:本文用一个9B参数的循环计算模型说明一种新思路:重复使用同一组中间层,在参数量接近不变的情况下增加计算深度。文章讲清楚结构、信息流设计与注意力方案,并给出与深层堆叠、MoE的对比表和选型检查清单,帮助技术选型者判断它是否适合自己的任务。
一、什么是循环计算
循环计算是一种模型构建方式。它不增加新的独立权重层,而是让网络中的一段中间层重复执行,从而在参数量基本不变的情况下,让前向传播经过更多层计算。
传统大模型大多按”层数越多,参数越多,能力越强”的路线扩展。一个56层的Decoder模型需要56组独立权重。循环计算则保留较少的独立层,例如32层,让其中一段中间层执行两次,最终的计算流程相当于56层,存储的权重仍是32层的规模。
以文中提到的9B参数模型为例,它的结构可以概括为:32个独立Decoder层,其中中间24层循环执行两次,其余层各执行一次。模型参数量在9B级,而每次推理经过的计算深度大于独立层数。
理解这个概念可以从三个角度入手:
- 参数角度:权重只存一份,循环层在多次执行中共享参数。
- 计算角度:前向传播经过的层数(计算深度)大于独立层数。
- 能力角度:模型有更多次变换去加工中间表示,理论上能表达更复杂的映射。
二、为什么需要循环计算
提升大模型能力通常依赖两条路:扩大参数规模,加深网络层数。两条路都有明显成本。
- 显存与训练成本高。每增加一层独立权重,参数、优化器状态和显存占用都会同步增长。
- 深层网络训练困难。层数增加后,梯度传播路径变长,训练容易不稳定。
- 部署压力大。边缘设备和中小规模推理集群难以承载大参数模型。
循环计算把”计算深度”和”参数规模”拆开处理。模型想算得更深,不一定需要存更多权重。这对三类场景较有吸引力:
- 显存预算固定,但希望模型有更强的多步推理能力;
- 需要长上下文和工具调用的Agent应用,这类任务更依赖逐层加工信息;
- 希望用较小的模型体量获得接近更深网络的表达能力。
三、结构拆解:32层权重,56层计算
这个方案的核心是把32个独立Decoder层分成三段:
- 第0层:输入层,独立执行一次;
- 第1到24层:中间循环段,同一组权重执行两轮;
- 第25到31层:输出段,共7层,独立执行一次。
计算深度为 1 + 24×2 + 7 = 56 层,而需要训练和存储的独立层仍是32层。
原始资料没有逐层说明循环段的位置,上面的划分是根据层数与计算深度反推的。实际配置应以模型的配置文件为准。用伪代码表示如下:
hidden = embed(input_ids)hidden = layers[0](hidden) # 输入层,只执行一次for _ in range(2): # 循环段执行两轮for i in range(1, 25): # 第1到24层,两轮共享权重hidden = layers[i](hidden)for i in range(25, 32): # 第25到31层,独立执行hidden = layers[i](hidden)output = lm_head(hidden)
需要注意两点。第一,循环段的两轮共享权重,但每轮都会产生各自的激活值和KV缓存,所以显存节省主要体现在权重上。第二,两轮之间需要信息传递机制。否则两轮执行时模型拿到的状态相同,难以区分每一轮应该做什么。下一节讲的双流超连接就是为这个问题设计的。
四、双流超连接:让两轮循环拿到不同的状态
残差连接是深层网络的基础设施。每一层的输出等于输入加上本层变换的结果,信息可以直接绕过本层向后传递。
超连接(Hyper-Connections)把这条单一的残差通路扩展成多条并行的信息流。每一层维护多条流,并通过可学习的混合矩阵决定:哪些信息进入当前层计算,哪些信息直接向后传递,以及各条流之间如何重新分配。
文中提到的”流形约束”(Manifold-Constrained)指的是对这些混合矩阵加上数学约束,使信息混合保持在稳定范围内,避免多条流数值发散或信息坍缩。公开研究中常见的做法,是把混合矩阵限制为双随机矩阵,即每行、每列之和均为1的非负矩阵。原始资料没有给出该模型的具体约束形式,此处只说明术语的一般含义。具体实现应以官方论文或代码为准。
双流结构让两轮循环携带不同的上下文状态。可以这样理解:传统残差连接像一条主干道,超连接则是多条并行车道,每层设一个调度站,让信息在循环中既不丢失,也不过载。
五、混合注意力:大部分层走高效路线
为支撑长上下文,模型的注意力层采用混合排列:3层线性注意力之后接1层全注意力,交替出现。
- 线性注意力:计算量随序列长度近似线性增长,承担大部分信息交互,降低长文本场景的计算和显存开销;
- 全注意力:每隔3层出现一次,保留全局依赖建模能力,弥补线性注意力在精确全局检索上的不足。
这是长上下文模型常见的工程折中。全注意力层仍然需要完整的KV缓存,所以256K级别的上下文对显存依然有较高要求。线性注意力层的状态通常是固定大小的,对长序列更友好,但具体节省多少,要看实际的序列长度和层配比。
原始资料称,模型的训练数据包括文本、图像、代码和工具调用轨迹,最长训练序列为256K Token。这说明它面向多模态输入和Agent任务进行了训练,而不只是纯语言模型。
六、一次推理的完整流程
- 输入编码:文本或图像经过统一的嵌入处理,进入网络。
- 首层处理:输入层对表示做初始变换。
- 第一轮循环:第1到24层依次执行,超连接在每层维护并混合多条信息流。
- 循环衔接:第一轮结束后,超连接的可学习映射调整信息流分布,第二轮拿到的是更新后的上下文状态。
- 第二轮循环:同一组24层权重再次执行,对表示做进一步加工。
- 输出:第25到31层处理完成后,输出头生成结果。
两轮使用同一组权重,但信息流状态不同,所以第二轮的计算能够针对更新后的表示继续加工。
七、适用场景
根据原始资料,该模型主要面向以下任务:
- 办公Agent:自动制作演示文稿、按指令组织文档结构等需要多步规划和迭代生成的任务。
- 数据分析:理解表格和图表输入,完成推理与可视化生成。
- 长上下文理解:审阅长文档、整合跨段落信息。
- 工具调用:训练数据包含工具调用轨迹,适合构建需要调用接口、解析返回结果并继续推理的智能体。
- 视觉相关任务:结合图像输入,辅助视觉内容生成相关工作。
收益较弱的场景也要看清楚。简单分类、短文本低延迟问答这类任务,多一轮计算带来的收益可能很小,而推理延迟会增加。用循环计算模型处理这类任务,性价比未必高。
八、与相关路线的区别
| 维度 | 深层独立堆叠 | 循环计算 | MoE(混合专家) | 推理时多次采样或自我反思 |
|---|---|---|---|---|
| 扩展方向 | 增加层数 | 复用层,增加计算深度 | 同层内增加专家,扩大总参数 | 不改模型,增加生成次数 |
| 参数量 | 随层数同步增长 | 基本不变 | 总参数增加,单次激活参数基本不变 | 不变 |
| 计算量 | 随层数增长 | 随循环次数增长 | 单次激活计算基本不变 | 随生成次数增长 |
| 显存 | 权重和激活都高 | 权重省,激活与KV缓存仍按等效层数计 | 总权重占用高 | 与单次生成相近 |
| 训练难点 | 深层梯度路径长 | 依赖信息流衔接机制的设计 | 专家负载均衡 | 无需修改模型结构 |
| 适合场景 | 资源充足,追求能力上限 | 固定参数预算下需要多步加工 | 追求大容量,控制单次计算 | 在已有模型上快速提升效果 |
常见模型只在首尾层共享嵌入权重,属于局部复用。循环计算把复用范围扩展到大部分中间层,属于结构性的深度扩展。MoE与循环计算的扩展方向不同,理论上可以组合使用,具体效果需要实测。
九、选型注意事项
- 推理成本按计算深度核算。虽然存储参数是9B级,但每次前向传播要经过56层的计算,时延和算力需要按计算深度估算。
- 参数量口径需要确认。原始资料给出推理计算参数量约14.6B,但没有说明口径,它可能指激活参数量、等效计算量或其他统计方式。选型前应查阅官方模型卡。
- 框架兼容性。权重共享的层结构和超连接机制需要推理框架支持自定义结构。使用主流推理引擎前,应确认其对共享层的支持情况。
- 长上下文资源规划。即使采用线性注意力,256K级序列仍对KV缓存管理和批处理调度有较高要求,需要在显存预算下权衡吞吐与并发。
- Preview阶段的成熟度。早期预览模型在能力覆盖和稳定性上可能仍在迭代,进入生产环境前需要充分评测。
选型检查清单:
- 显存预算:按最大序列长度和批大小估算权重、激活与KV缓存。
- 目标序列长度:确认实际输入长度是否接近训练上限,以及性能是否随长度衰减。
- 推理框架:确认是否支持共享层结构和超连接模块。
- 评测任务:至少包括多步推理、长文档问答、工具调用成功率和端到端延迟。
- 对照基线:与同参数量的独立堆叠模型,以及同计算量的模型做对比,验证循环带来的增益。
十、总结
循环计算提供了一条与”做大”不同的路线:复用中间层权重以增加计算深度,再用双流超连接管理循环间的信息状态,并以线性与全注意力交替支撑长上下文。以9B参数级的模型为例,它能完成相当于56层的计算流程。
它的价值在于让计算深度与参数规模解耦,适合Agent、数据分析、长上下文理解和工具调用等需要多步加工的任务。但它不是免费加深。收益取决于循环段的位置、信息流衔接机制的设计以及任务本身的特点,需要通过消融实验和实际任务评测来验证。对于在固定资源预算下想提升推理深度的团队,这条路线值得认真评估。文中的数字来自原始资料,引用前请对照官方发布。

登录后可评论,请前往 登录 或 注册