logo

循环计算大模型解析:参数复用如何换来更深计算

作者:半吊子全栈工匠2026.11.18 11:50浏览量:0

简介:本文用一个9B参数的循环计算模型说明一种新思路:重复使用同一组中间层,在参数量接近不变的情况下增加计算深度。文章讲清楚结构、信息流设计与注意力方案,并给出与深层堆叠、MoE的对比表和选型检查清单,帮助技术选型者判断它是否适合自己的任务。

一、什么是循环计算

循环计算是一种模型构建方式。它不增加新的独立权重层,而是让网络中的一段中间层重复执行,从而在参数量基本不变的情况下,让前向传播经过更多层计算。

传统大模型大多按”层数越多,参数越多,能力越强”的路线扩展。一个56层的Decoder模型需要56组独立权重。循环计算则保留较少的独立层,例如32层,让其中一段中间层执行两次,最终的计算流程相当于56层,存储的权重仍是32层的规模。

以文中提到的9B参数模型为例,它的结构可以概括为:32个独立Decoder层,其中中间24层循环执行两次,其余层各执行一次。模型参数量在9B级,而每次推理经过的计算深度大于独立层数。

理解这个概念可以从三个角度入手:

  • 参数角度:权重只存一份,循环层在多次执行中共享参数。
  • 计算角度:前向传播经过的层数(计算深度)大于独立层数。
  • 能力角度:模型有更多次变换去加工中间表示,理论上能表达更复杂的映射。

二、为什么需要循环计算

提升大模型能力通常依赖两条路:扩大参数规模,加深网络层数。两条路都有明显成本。

  1. 显存与训练成本高。每增加一层独立权重,参数、优化器状态和显存占用都会同步增长。
  2. 深层网络训练困难。层数增加后,梯度传播路径变长,训练容易不稳定。
  3. 部署压力大。边缘设备和中小规模推理集群难以承载大参数模型。

循环计算把”计算深度”和”参数规模”拆开处理。模型想算得更深,不一定需要存更多权重。这对三类场景较有吸引力:

  • 显存预算固定,但希望模型有更强的多步推理能力;
  • 需要长上下文和工具调用的Agent应用,这类任务更依赖逐层加工信息;
  • 希望用较小的模型体量获得接近更深网络的表达能力。

三、结构拆解:32层权重,56层计算

这个方案的核心是把32个独立Decoder层分成三段:

  • 第0层:输入层,独立执行一次;
  • 第1到24层:中间循环段,同一组权重执行两轮;
  • 第25到31层:输出段,共7层,独立执行一次。

计算深度为 1 + 24×2 + 7 = 56 层,而需要训练和存储的独立层仍是32层。

原始资料没有逐层说明循环段的位置,上面的划分是根据层数与计算深度反推的。实际配置应以模型的配置文件为准。用伪代码表示如下:

  1. hidden = embed(input_ids)
  2. hidden = layers[0](hidden) # 输入层,只执行一次
  3. for _ in range(2): # 循环段执行两轮
  4. for i in range(1, 25): # 第1到24层,两轮共享权重
  5. hidden = layers[i](hidden)
  6. for i in range(25, 32): # 第25到31层,独立执行
  7. hidden = layers[i](hidden)
  8. output = lm_head(hidden)

需要注意两点。第一,循环段的两轮共享权重,但每轮都会产生各自的激活值和KV缓存,所以显存节省主要体现在权重上。第二,两轮之间需要信息传递机制。否则两轮执行时模型拿到的状态相同,难以区分每一轮应该做什么。下一节讲的双流超连接就是为这个问题设计的。

四、双流超连接:让两轮循环拿到不同的状态

残差连接是深层网络的基础设施。每一层的输出等于输入加上本层变换的结果,信息可以直接绕过本层向后传递。

超连接(Hyper-Connections)把这条单一的残差通路扩展成多条并行的信息流。每一层维护多条流,并通过可学习的混合矩阵决定:哪些信息进入当前层计算,哪些信息直接向后传递,以及各条流之间如何重新分配。

文中提到的”流形约束”(Manifold-Constrained)指的是对这些混合矩阵加上数学约束,使信息混合保持在稳定范围内,避免多条流数值发散或信息坍缩。公开研究中常见的做法,是把混合矩阵限制为双随机矩阵,即每行、每列之和均为1的非负矩阵。原始资料没有给出该模型的具体约束形式,此处只说明术语的一般含义。具体实现应以官方论文或代码为准。

双流结构让两轮循环携带不同的上下文状态。可以这样理解:传统残差连接像一条主干道,超连接则是多条并行车道,每层设一个调度站,让信息在循环中既不丢失,也不过载。

五、混合注意力:大部分层走高效路线

为支撑长上下文,模型的注意力层采用混合排列:3层线性注意力之后接1层全注意力,交替出现。

  • 线性注意力:计算量随序列长度近似线性增长,承担大部分信息交互,降低长文本场景的计算和显存开销;
  • 全注意力:每隔3层出现一次,保留全局依赖建模能力,弥补线性注意力在精确全局检索上的不足。

这是长上下文模型常见的工程折中。全注意力层仍然需要完整的KV缓存,所以256K级别的上下文对显存依然有较高要求。线性注意力层的状态通常是固定大小的,对长序列更友好,但具体节省多少,要看实际的序列长度和层配比。

原始资料称,模型的训练数据包括文本、图像、代码和工具调用轨迹,最长训练序列为256K Token。这说明它面向多模态输入和Agent任务进行了训练,而不只是纯语言模型。

六、一次推理的完整流程

  1. 输入编码:文本或图像经过统一的嵌入处理,进入网络。
  2. 首层处理:输入层对表示做初始变换。
  3. 第一轮循环:第1到24层依次执行,超连接在每层维护并混合多条信息流。
  4. 循环衔接:第一轮结束后,超连接的可学习映射调整信息流分布,第二轮拿到的是更新后的上下文状态。
  5. 第二轮循环:同一组24层权重再次执行,对表示做进一步加工。
  6. 输出:第25到31层处理完成后,输出头生成结果。

两轮使用同一组权重,但信息流状态不同,所以第二轮的计算能够针对更新后的表示继续加工。

七、适用场景

根据原始资料,该模型主要面向以下任务:

  • 办公Agent:自动制作演示文稿、按指令组织文档结构等需要多步规划和迭代生成的任务。
  • 数据分析:理解表格和图表输入,完成推理与可视化生成。
  • 长上下文理解:审阅长文档、整合跨段落信息。
  • 工具调用:训练数据包含工具调用轨迹,适合构建需要调用接口、解析返回结果并继续推理的智能体。
  • 视觉相关任务:结合图像输入,辅助视觉内容生成相关工作。

收益较弱的场景也要看清楚。简单分类、短文本低延迟问答这类任务,多一轮计算带来的收益可能很小,而推理延迟会增加。用循环计算模型处理这类任务,性价比未必高。

八、与相关路线的区别

维度 深层独立堆叠 循环计算 MoE(混合专家) 推理时多次采样或自我反思
扩展方向 增加层数 复用层,增加计算深度 同层内增加专家,扩大总参数 不改模型,增加生成次数
参数量 随层数同步增长 基本不变 总参数增加,单次激活参数基本不变 不变
计算量 随层数增长 随循环次数增长 单次激活计算基本不变 随生成次数增长
显存 权重和激活都高 权重省,激活与KV缓存仍按等效层数计 总权重占用高 与单次生成相近
训练难点 深层梯度路径长 依赖信息流衔接机制的设计 专家负载均衡 无需修改模型结构
适合场景 资源充足,追求能力上限 固定参数预算下需要多步加工 追求大容量,控制单次计算 在已有模型上快速提升效果

常见模型只在首尾层共享嵌入权重,属于局部复用。循环计算把复用范围扩展到大部分中间层,属于结构性的深度扩展。MoE与循环计算的扩展方向不同,理论上可以组合使用,具体效果需要实测。

九、选型注意事项

  • 推理成本按计算深度核算。虽然存储参数是9B级,但每次前向传播要经过56层的计算,时延和算力需要按计算深度估算。
  • 参数量口径需要确认。原始资料给出推理计算参数量约14.6B,但没有说明口径,它可能指激活参数量、等效计算量或其他统计方式。选型前应查阅官方模型卡。
  • 框架兼容性。权重共享的层结构和超连接机制需要推理框架支持自定义结构。使用主流推理引擎前,应确认其对共享层的支持情况。
  • 长上下文资源规划。即使采用线性注意力,256K级序列仍对KV缓存管理和批处理调度有较高要求,需要在显存预算下权衡吞吐与并发。
  • Preview阶段的成熟度。早期预览模型在能力覆盖和稳定性上可能仍在迭代,进入生产环境前需要充分评测。

选型检查清单:

  1. 显存预算:按最大序列长度和批大小估算权重、激活与KV缓存。
  2. 目标序列长度:确认实际输入长度是否接近训练上限,以及性能是否随长度衰减。
  3. 推理框架:确认是否支持共享层结构和超连接模块。
  4. 评测任务:至少包括多步推理、长文档问答、工具调用成功率和端到端延迟。
  5. 对照基线:与同参数量的独立堆叠模型,以及同计算量的模型做对比,验证循环带来的增益。

十、总结

循环计算提供了一条与”做大”不同的路线:复用中间层权重以增加计算深度,再用双流超连接管理循环间的信息状态,并以线性与全注意力交替支撑长上下文。以9B参数级的模型为例,它能完成相当于56层的计算流程。

它的价值在于让计算深度与参数规模解耦,适合Agent、数据分析、长上下文理解和工具调用等需要多步加工的任务。但它不是免费加深。收益取决于循环段的位置、信息流衔接机制的设计以及任务本身的特点,需要通过消融实验和实际任务评测来验证。对于在固定资源预算下想提升推理深度的团队,这条路线值得认真评估。文中的数字来自原始资料,引用前请对照官方发布。

发表评论

活动