logo

2025年大模型架构对比与选型教程

作者:demo2026.11.18 11:21浏览量:0

简介:本文梳理2025年主流开源大模型的架构演进,包括混合专家、潜在注意力、局部与全局注意力交替、长上下文位置编码、混合思考模式等,并给出需求分析、候选评估、显存与成本估算、推理配置、部署验证和故障排查的完整流程,帮助开发者选型更合理、部署更稳定、调优更有依据。

一、教程目标与适用读者

过去七年,主流大模型的基础结构保持了惊人的连续性。从2019年的早期解码器模型,到2024—2025年发布的旗舰级开源模型,二者都遵循同一条主线:解码器-only的Transformer、残差连接、归一化层、前馈网络和自注意力。回看2019年的解码器架构并对照2025年的旗舰模型,可以看到几点明确变化:

  • 位置编码从绝对位置编码演变为旋转位置编码(RoPE),并通过插值类方法支持更长上下文;
  • 多头注意力(MHA)在很大程度上让位给分组查询注意力(GQA),并出现了低秩压缩的潜在注意力、局部与全局注意力交替等变体;
  • SwiGLU等门控激活函数取代了GELU;
  • 混合专家(MoE)成为超大规模模型的主流选择,并配合细粒度专家、共享专家等设计;
  • 归一化方式基本统一为RMSNorm,部分模型还会对查询、键做归一化。

一个值得注意的现象是,从公开信息看,2025年的旗舰开源模型已很少在发布时附带预训练代码,模型结构细节也随之披露得越来越少。因此,理解架构层面的取舍本身就是一项核心能力。这类对比工作还有一个固有难点:数据集、训练方法和超参数差异很大,且往往披露不充分,很难把性能差异单独归因到结构改动上。所以,把”参数量”这一个数字,扩展成”显存需求、KV缓存、激活参数、上下文长度、计算成本”这一组可量化维度,才是本文要传达的核心方法。

同时说明,2025年初引发广泛关注的那款推理模型,基于2024年底推出的混合专家架构构建。两者在结构上同源,所以本教程把这类架构一并纳入分析。

本教程结束后,读者应能够:

  1. 讲清2025年主流架构的关键变化、动因和代价;
  2. 按任务需求拆解出可量化的选型指标;
  3. 估算模型权重与KV缓存的显存需求,并搭建推理服务;
  4. 完成功能、性能和质量验证;
  5. 定位并解决部署中最常见的典型问题。

适用读者:

  • AI应用开发者:需要在自托管与API调用之间做选择,关心成本、延迟和上下文能力;
  • 算法工程师:需要理解新架构特性对微调和评测的影响;
  • 平台与运维工程师:负责推理服务的容量规划、稳定性和成本控制;
  • 技术负责人:需要为团队建立统一的架构评审框架。

本教程聚焦结构层面的分析以及部署与调优方法,不提供基准跑分排名,也不展开训练算法细节。

二、适用场景

业务场景 架构关注点 关键决策
长文档问答、合同与报告审阅 长上下文外推质量、KV缓存占用 上下文长度与位置编码扩展方式
多步推理、复杂任务规划 推理能力与延迟成本的平衡 是否启用思考模式及思考预算
高并发在线服务 激活参数量、量化支持、吞吐 稠密模型还是混合专家模型
私有化、内网部署 权重许可、可离线运行、显存约束 模型规模与量化方案
领域模型微调 微调友好度、架构复杂度 全参数微调还是参数高效微调
云上弹性推理 扩缩容速度、多实例资源利用 实例规格与弹性策略

三、前置准备

3.1 基础知识

  • Transformer解码器结构:自注意力、前馈网络、残差连接、归一化;
  • 自回归生成与KV缓存的原理;
  • RoPE的基本思想;
  • 基本张量运算概念,如张量并行和流水线并行。

3.2 硬件与容量

  • GPU显存:决定能否加载权重、能开多长的上下文、能承载多少并发;
  • 内存与本地存储:模型权重下载、格式转换和量化需要占用主机内存,权重文件也需要预留足够的磁盘空间;
  • 卡间与跨节点带宽:影响张量并行、专家并行等分布式方案的选择。跨节点通信通常是性能瓶颈之一。

3.3 软件环境

  • Python环境,以及团队熟悉的深度学习框架;
  • 推理框架:优先选择对新架构特性(滑动窗口、注意力汇聚点、思考模式模板等)支持及时、社区活跃的版本;
  • 容器运行时与依赖管理工具;
  • GPU驱动与计算库:版本需与框架匹配,建议使用统一的基础镜像固定版本。

3.4 数据与许可

  • 从公开权重仓库获取模型,并通过官方校验值验证文件完整性;
  • 阅读模型许可证,确认是否允许商用、是否要求衍生模型同样开源;
  • 准备覆盖真实业务的评测集,并对敏感信息做脱敏。

四、核心知识:2025年LLM架构的关键演进

4.1 位置编码:从RoPE到”部分层不加位置编码”

早期解码器模型使用可学习的位置嵌入,模型能处理的长度在训练时就已固定。RoPE把位置信息以旋转的形式融入查询向量和键向量,使注意力分数天然带有相对位置关系,长度外推能力明显增强,如今已成为开源模型的事实标准。

2025年的变化在于长上下文扩展方式。业界普遍采用插值类方法:保持旋转频率底数不变,对高频维度做非均匀缩放(NTK-aware缩放),并结合温度调整。以YaRN为代表的方法则通过少量长序列继续训练,使同一套权重支持远大于原始训练长度的上下文。部分旗舰模型宣称支持百万级甚至千万级token的上下文。

另一类探索是”iRoPE”式设计,即交替使用不同的位置策略:

  • 多数层不显式添加位置编码(NoPE);
  • 每隔若干层插入带RoPE的层;
  • 推理时交替使用局部注意力和全局注意力。

这样做的理由是,没有位置编码的层对序列长度不敏感,天然具备长度泛化能力;带RoPE的层负责提供精确的位置定位能力。这也说明,架构差异有时体现在层级别的排列组合上,而不是对某个模块的整体替换。

选择时的注意点:

  • 宣称的长上下文大多依赖插值或继续训练,短文本(如4K以内)质量不一定提升;
  • 推理侧使用的插值参数必须与权重的训练方式匹配,参数设置不当会明显损害短文本表现;
  • 实际长文本能力必须以自己的评测集为准,不能只看标称长度。

4.2 注意力变体:GQA、潜在注意力与局部/全局交替

标准多头注意力中,每个查询头都有独立的键头和值头,KV缓存随序列长度线性增长,是长上下文推理的显存和带宽瓶颈。2025年的主流做法可归为四类:

分组查询注意力(GQA):多个查询头共享一组键值头。分组数越少,KV缓存越小。分组数为1时退化为多查询注意力(MQA),KV缓存最小,但表达能力受限。GQA是当前开源模型的默认选择。

潜在注意力(MLA):不直接缓存完整的键和值,而是先把每个token的键值压缩成低秩的潜向量并缓存,计算注意力时再上投影还原。潜向量维度远小于完整的键值维度,因此KV缓存大幅缩小。同时,施加RoPE的位置分量与压缩路径解耦,单独携带。这类方案压缩率最高,实现也最复杂,对推理框架的支持程度需要重点确认。

局部与全局交替:少数模型(如2025年发布的多模态开源模型系列)让大多数层使用滑动窗口局部注意力,每若干层插入一个全局注意力层。局部层只看当前token附近的窗口,全局层负责跨长距离的信息聚合,用较少的全局层数换取接近全注意力的长文本能力。

注意力汇聚点(Attention Sinks):softmax注意力会把一部分概率分配给序列开头的少量token。如果在滑动窗口实现中直接丢弃窗口外的键值,模型容易输出不稳定甚至无限生成。保留最开始的几个token作为”汇聚点”,可以稳定生成质量。这类实现有时还需要处理只保留部分位置RoPE的键值缓存,以及增量解码时跳过部分层以保持吞吐等细节,选型时要确认推理框架是否支持。

线性注意力及其混合形式也在探索中:用线性复杂度的算子替代大部分注意力层,只保留少量全注意力层。这类结构在理论上可以把长序列计算降到线性复杂度,但长上下文下的质量表现仍需在具体任务中验证。

4.3 归一化与激活函数

结构上比较一致的变化有两点:

  • Pre-LN结构基本被Pre-RMSNorm取代。RMSNorm去掉了均值中心化,计算更轻;
  • SwiGLU等门控激活函数取代了GELU。门控机制为前馈网络提供了乘性交互,但会带来额外三个投影矩阵,所以使用SwiGLU时隐藏维度通常取传统值的约三分之二,使参数量与原始FFN大致相当。

2025年值得关注的新细节是QK-Norm:部分模型在注意力计算前对查询向量和键向量做RMSNorm,抑制注意力logits的异常放大,让低精度训练更稳定。另有研究提出”深度优先”思路:让更多层停留在较低的模型维度上(即”窄而深”),以更少参数获得更强特征。这类设计仍处于探索阶段,但在开源模型中已经出现。

4.4 混合专家:用稀疏激活换取容量

稠密模型每增加一倍参数,推理计算量也会大致翻倍。MoE的做法是把前馈网络拆成多个”专家”,每个token只激活其中少数几个。例如,一个总参数671B、每token激活37B的混合专家模型,计算量接近同激活规模的稠密模型,但显存必须容纳全部专家。

2025年MoE的关键设计包括:

  • 细粒度专家与共享专家:专家切得更小、数量更多,提升组合灵活性;同时设置始终激活的共享专家,承载通用知识;
  • 无辅助损失负载均衡:用可动态调整的偏置,引导路由器把token均匀分配到各专家,避免辅助损失干扰主任务;
  • 多token预测(MTP):训练时同时预测后续多个token,用于增强表示学习,也可在推理时作为投机解码的草稿来源。

部署时的判断原则:

  • 显存按总参数估算,吞吐按激活参数估算;
  • 如果显存刚好能放下权重、几乎没有KV缓存余量,高吞吐的优势就发挥不出来;
  • 小批量、长上下文的场景尤其如此。

此外,MoE模型的专家结构使全参数微调的显存开销很高,多数团队会采用只训练附加模块的参数高效微调方式。

4.5 能力形态:混合思考与多模态融合

2025年的另一条主线,是把”是否深度思考”做成同一权重下的可控开关:

  • 同一份权重支持思考模式和非思考模式,由提示模板或请求参数切换;
  • 思考模式会生成较长的推理过程,质量和延迟成本同步上升;
  • 部分模型还提供可调的思考预算,即允许用于思考的token上限。

结构上,多模态能力正从”适配器拼接”转向早期融合,把视觉等模态的token与文本token拼进同一个解码器序列。本教程聚焦文本能力,这部分只需了解,它会影响上下文长度与显存估算。

五、架构对比速查表

下表从公开模型卡可以确认的架构特征出发,按”结构组合”而非具体型号归纳(参数与上下文长度以官方模型卡为准):

结构组合 位置编码 注意力 前馈网络 上下文 特点与适用场景
组合A:中等规模MoE + 多token预测 RoPE(YaRN扩展) MLA潜压缩 细粒度专家 + 共享专家,SwiGLU 128K起,可外推至约100万 KV缓存小,长上下文性价比高,适合长文档、Agent
组合B:大激活规模MoE + 多模态 iRoPE(多数层无显式位置编码) 局部窗口与全局层交替 MoE,SwiGLU 约100万 多模态与长上下文兼顾,显存需求大
组合C:MoE + 混合思考 RoPE GQA,部分层滑动窗口 MoE,SwiGLU 约128K–256K 思考/非思考一键切换,注意思维链长度与后处理
组合D:中大规模MoE + 混合思考 RoPE(YaRN扩展) GQA + 查询键归一化 + 注意力汇聚点 细粒度专家 + 共享专家,SwiGLU 约128K 多尺寸覆盖,小尺寸适合低成本场景
组合E:小模型系列 + 混合思考 RoPE GQA,层间交替 稠密,SwiGLU 约32K 单卡或消费级显卡可运行,适合边缘与端侧
组合F:纯文本小尺寸 + 混合思考 + 长上下文 RoPE,部分层无显式位置编码 + YaRN 带滑动窗口的分组注意力 稠密 约32K–128K 计算预算极低的场景
组合G:中尺寸稠密/小MoE RoPE(YaRN扩展) 注意力汇聚点 + 滑动窗口 稠密或MoE,SwiGLU 约128K 本地部署与边缘设备友好

六、架构选型实施步骤

步骤1:把业务需求转化为可量化的指标

做什么:把需求写成”质量底线 + 资源上限 + 能力清单”三部分,例如”领域问答准确率不低于现有基线、首token延迟低于1秒、总显存不超过2张80GB卡、支持128K上下文、支持工具调用”。

为什么:架构选型的本质是约束下的最优化。指标不量化,讨论就会停留在”参数越大越好”。

注意:延迟指标要区分首token延迟(TTFT)和每个输出token的延迟(TPOT)。前者主要受预填充长度影响,后者主要受模型规模与并发影响。

步骤2:建立候选清单并核对架构特征

做什么:按规模档位建立候选,并逐项核对位置编码方式、注意力变体、是否MoE及激活参数、上下文标称长度、推理框架支持情况、许可证。对照第五节的速查表打分。

为什么:这些特征直接决定显存占用、长文本质量和推理框架适配难度,比单一参数规模更有预测力。

注意:优先选择推理框架已原生支持其特殊结构的候选,比如潜在注意力、注意力汇聚点、思维链模板。依赖自行适配的模型,上线风险明显更高。

步骤3:估算显存与成本

做什么:按以下公式估算权重显存、KV缓存和总显存,再计算每百万token成本。

  1. 权重显存(GiB) ≈ 参数量(B) × 每参数字节数 / 1.024^3
  2. KV缓存(GiB) ≈ 2 × 批大小 × 序列长度 × 层数 × KV头数 × 头维度 × 每元素字节数 × 并发数 / 1.024^3
  3. 总显存 ≈ 权重显存 / 目标显存利用率 + 激活与临时缓冲(通常预留10%~20%)

每参数字节数:FP16/BF16为2,FP8为1,4bit约为0.5(含分组量化的缩放因子等额外开销)。

示例(假设参数,仅用于说明算法):

  • 候选模型总参数671B,每token激活37B,61层,KV头数远少于查询头数,头维度128,上下文128K,并发32;
  • BF16权重约需1.25TB显存,8张80GB卡无法容纳,必须量化到4bit左右,或扩展到更多卡;
  • 量化到4bit后权重约320GB,8卡每卡40GB,剩余约40GB可留给KV缓存与激活;
  • 若KV缓存采用8bit,长上下文下每请求占用约数GB,因此单卡并发要控制在个位数,或借助MLA压缩降低KV缓存。

如果算出的每百万token成本超出预算,优先降低并发或缩短上下文,而不是盲目降低模型精度。

步骤4:确定上下文策略

做什么:按实际任务确定上下文长度;如果要超出原生训练长度,确认模型是否支持插值扩展,并准备长文本检索评测。

为什么:标称长度与实测能力常常不一致。

注意:推理侧插值参数与权重训练方式不匹配,会导致短文本质量下降,需要在4K、32K、128K等多个长度上分别验证。

步骤5:决定MoE、思考模式与量化

  • MoE:追求单卡高吞吐、显存充足时优先考虑;显存紧张或需要全参数微调时,优先考虑稠密模型;
  • 思考模式:复杂推理任务默认开启,并设置思考预算和思考内容过滤;简单分类、抽取任务关闭,以节省延迟;
  • 量化:显存受限时优先选择W8A8或W4A16;显存充足时BF16精度损失最小。量化后必须重新评测。

步骤6:搭建评测环境并做A/B对比

做什么:用步骤1的指标构建私有评测集,在候选模型上跑同一套脚本,记录质量指标、TTFT、TPOT、吞吐与显存占用,形成对比报告。

为什么:公开榜单与自身任务的分布往往不一致,实测是唯一可靠依据。

注意:对比时要固定采样参数、系统提示和提示模板,避免把提示差异误判为模型差异。

七、推理配置说明

下表中的参数名仅为通用示意,不同推理框架的命名可能不同,以所用框架的文档为准。

配置项 含义 常见取值逻辑 风险提示
tensor_parallel_size 张量并行度,把单个算子切分到多卡 单卡放不下权重时设置,通常不超过单节点卡数 跨节点通信会显著增加TPOT
pipeline_parallel_size 流水线并行度,按层切分 跨节点扩展时使用 会增加气泡,小批量下效率下降
expert_parallel_size 专家并行度,MoE专家分散到多卡 MoE模型在张量并行之外追加 与TP的乘积需满足总卡数
gpu_memory_utilization 用于权重和KV缓存的显存比例 0.85~0.95,预留激活空间 过高容易OOM
max_model_len 最大上下文长度 取任务需要值,而非模型标称上限 按最大值预分配会浪费显存
kv_cache_dtype KV缓存的数据类型 显存紧张时用fp8 长文本质量需验证
max_num_seqs 单批最大序列数 按压测结果逐步调高 过高导致排队和超时
enable_chunked_prefill 将长预填充切片与解码混合调度 长输入场景开启 可能略微提高TTFT
enable_prefix_caching 复用相同前缀的KV缓存 系统提示固定的场景开启 显存占用上升
rope_scaling 位置编码插值配置 仅外推时使用,与权重匹配 参数不当会损害短文本
enable_thinking 是否启用思考模式 按任务类型控制 需配合思考预算与输出过滤

八、部署实施步骤

8.1 准备权重与校验

做什么:从公开仓库下载权重,核对校验值与文件完整性,并确认配置文件中的架构标识与参数字段和官方一致。

为什么:架构参数(层数、注意力头数、专家数等)必须与权重严格对应,否则加载会静默错位。

注意:部分模型的推理配置与训练配置分离,注意加载的是推理侧配置。

8.2 选择量化方案(可选)

做什么:显存不足时使用框架内置的权重量化,或转换为4bit/8bit格式。

为什么:量化能显著降低显存门槛,使更大模型在单机多卡上运行。

注意:MoE模型不同专家敏感度不同,转换后要用长文本和推理任务复测。

8.3 启动推理服务

参考配置(通用JSON示意):

  1. {
  2. "model_path": "/models/llm-weights",
  3. "tensor_parallel_size": 4,
  4. "expert_parallel_size": 1,
  5. "max_model_len": 131072,
  6. "gpu_memory_utilization": 0.90,
  7. "kv_cache_dtype": "auto",
  8. "max_num_seqs": 32,
  9. "enable_chunked_prefill": true,
  10. "enable_prefix_caching": true,
  11. "rope_scaling": { "type": "yarn", "factor": 4.0 },
  12. "enable_thinking": true,
  13. "reasoning_parser": "auto"
  14. }

参数含义与设置依据:

  • tensor_parallel_size:由步骤3的权重显存估算决定,不超过单节点卡数;
  • max_model_len:按任务需要的上下文长度设置,避免按标称上限预留;
  • gpu_memory_utilization:留出10%~15%给激活与临时缓冲;
  • rope_scaling:仅在外推超出原生训练长度时设置,factor由目标长度与原生长度之比推算;
  • enable_thinking与reasoning_parser:开启思考模式时,需要框架把思维链从最终回答中分离。

8.3 启动推理服务(续)

推理框架的通用启动命令:

  1. python -m <inference_engine.entry_point> \
  2. --model /models/llm-weights \
  3. --tensor-parallel-size 4 \
  4. --max-model-len 131072 \
  5. --gpu-memory-utilization 0.90 \
  6. --enable-prefix-caching \
  7. --enable-chunked-prefill \
  8. --rope-scaling '{"type":"yarn","factor":4.0}'

其中<inference_engine.entry_point>替换为所用框架的服务入口模块。

为什么以OpenAI兼容接口对外提供服务:这样客户端代码无需改动即可迁移,也便于接入统一网关。

8.4 服务化编排(生产环境)

在容器编排平台上以 Deployment 形式部署,配置就绪探针、存活探针、资源限制和水平扩缩容;前置负载均衡按最少连接或一致性哈希分发请求,启用前缀缓存时尤其要注意路由亲和,让相同前缀落到同一实例。通过百度智能云容器服务承载推理服务时,可结合弹性伸缩、负载均衡、日志服务与监控告警能力,实现按GPU利用率或请求量自动扩缩容。

九、结果验证

9.1 功能验证清单

  1. 健康检查通过,服务可用;
  2. 流式与非流式输出均正常;
  3. 思考模式可开关,思维链与最终回答分离正确;
  4. 长上下文请求不截断、不报错;
  5. 工具调用、结构化输出(如JSON模式)能被正确解析。

9.2 性能验证

  • TTFT:在输入长度2K、32K、128K下分别测量;
  • TPOT与吞吐:在并发1、8、32、64下逐步加压,记录吞吐与P99延迟;
  • 显存水位:观察不同并发与上下文长度下的KV缓存占用。

9.3 质量验证

  • 在私有评测集上对比候选模型;
  • 用长文本检索类测试(在长文中埋入目标句并提问)评估不同长度的召回能力;
  • 量化前后对比,确认损失在可接受范围。

十、常见问题与排查

现象 可能原因 排查思路
启动即显存溢出(OOM) 权重未量化、max_model_len过大、显存利用率设置过高 降低max_model_len、启用量化、调整gpu_memory_utilization
运行中偶发OOM 并发峰值下KV缓存超限 限制max_num_seqs、开启分页式KV管理、评估fp8 KV缓存
长文本回答遗漏关键信息 插值参数不匹配或全局层不足 核对rope_scaling、做不同长度检索测试
短文本质量明显下降 外推参数在短序列上过度缩放 短文本场景关闭插值,或使用原生训练长度
MoE吞吐不如预期 专家并行通信开销、路由不均衡 调整TP/EP比例、检查专家负载分布
思考模式输出包含思维链 解析器未启用或模板不匹配 启用reasoning_parser、核对提示模板
生成重复或截断 采样参数或最大生成长度设置不当 调整温度、重复惩罚与max_tokens
输出格式不遵循 结构化输出约束缺失 使用JSON模式或语法约束解码

十一、优化建议

  • 性能:开启前缀缓存、分块预填充和连续批处理;推理任务可考虑投机解码,利用MoE模型多token预测头作为草稿来源。
  • 安全:API密钥通过密钥管理服务托管,不写入配置文件;推理服务仅在内网或网关后暴露;对输入输出做内容审核与提示注入防护。
  • 稳定性:多副本部署配合健康检查,设置请求超时与限流,按GPU利用率自动扩缩容。
  • 可维护性:模型版本、量化方案、推理配置统一纳入配置管理,镜像与依赖版本固定。
  • 成本控制:按”每百万token成本”而非”参数规模”做决策;思考模式按任务分级启用;日志与评测数据存放在百度智能云对象存储中,通过生命周期策略归档冷数据。

十二、总结

2025年的开源大模型在结构上延续了解码器-only的主线,创新集中在三处:稀疏化(MoE)、注意力与KV缓存压缩(GQA、MLA、局部/全局交替、注意力汇聚点)、以及能力形态的可控化(混合思考、多模态早期融合)。选型时,应把这些结构特征转化为显存、延迟和质量的量化指标,再用私有评测集做实测验证。

后续可继续关注的方向包括:线性注意力与混合结构的成熟程度、MoE路由与专家并行的工程优化、位置编码外推的新方案,以及推理模式训练与蒸馏对成本结构的影响。如需云端弹性部署方案,可参考百度智能云GPU云服务器与容器服务的文档,或咨询官方技术支持。

发表评论

活动