2025年大模型架构对比与选型教程
作者:demo2026.11.18 11:21浏览量:0简介:本文梳理2025年主流开源大模型的架构演进,包括混合专家、潜在注意力、局部与全局注意力交替、长上下文位置编码、混合思考模式等,并给出需求分析、候选评估、显存与成本估算、推理配置、部署验证和故障排查的完整流程,帮助开发者选型更合理、部署更稳定、调优更有依据。
一、教程目标与适用读者
过去七年,主流大模型的基础结构保持了惊人的连续性。从2019年的早期解码器模型,到2024—2025年发布的旗舰级开源模型,二者都遵循同一条主线:解码器-only的Transformer、残差连接、归一化层、前馈网络和自注意力。回看2019年的解码器架构并对照2025年的旗舰模型,可以看到几点明确变化:
- 位置编码从绝对位置编码演变为旋转位置编码(RoPE),并通过插值类方法支持更长上下文;
- 多头注意力(MHA)在很大程度上让位给分组查询注意力(GQA),并出现了低秩压缩的潜在注意力、局部与全局注意力交替等变体;
- SwiGLU等门控激活函数取代了GELU;
- 混合专家(MoE)成为超大规模模型的主流选择,并配合细粒度专家、共享专家等设计;
- 归一化方式基本统一为RMSNorm,部分模型还会对查询、键做归一化。
一个值得注意的现象是,从公开信息看,2025年的旗舰开源模型已很少在发布时附带预训练代码,模型结构细节也随之披露得越来越少。因此,理解架构层面的取舍本身就是一项核心能力。这类对比工作还有一个固有难点:数据集、训练方法和超参数差异很大,且往往披露不充分,很难把性能差异单独归因到结构改动上。所以,把”参数量”这一个数字,扩展成”显存需求、KV缓存、激活参数、上下文长度、计算成本”这一组可量化维度,才是本文要传达的核心方法。
同时说明,2025年初引发广泛关注的那款推理模型,基于2024年底推出的混合专家架构构建。两者在结构上同源,所以本教程把这类架构一并纳入分析。
本教程结束后,读者应能够:
- 讲清2025年主流架构的关键变化、动因和代价;
- 按任务需求拆解出可量化的选型指标;
- 估算模型权重与KV缓存的显存需求,并搭建推理服务;
- 完成功能、性能和质量验证;
- 定位并解决部署中最常见的典型问题。
适用读者:
- AI应用开发者:需要在自托管与API调用之间做选择,关心成本、延迟和上下文能力;
- 算法工程师:需要理解新架构特性对微调和评测的影响;
- 平台与运维工程师:负责推理服务的容量规划、稳定性和成本控制;
- 技术负责人:需要为团队建立统一的架构评审框架。
本教程聚焦结构层面的分析以及部署与调优方法,不提供基准跑分排名,也不展开训练算法细节。
二、适用场景
| 业务场景 | 架构关注点 | 关键决策 |
|---|---|---|
| 长文档问答、合同与报告审阅 | 长上下文外推质量、KV缓存占用 | 上下文长度与位置编码扩展方式 |
| 多步推理、复杂任务规划 | 推理能力与延迟成本的平衡 | 是否启用思考模式及思考预算 |
| 高并发在线服务 | 激活参数量、量化支持、吞吐 | 稠密模型还是混合专家模型 |
| 私有化、内网部署 | 权重许可、可离线运行、显存约束 | 模型规模与量化方案 |
| 领域模型微调 | 微调友好度、架构复杂度 | 全参数微调还是参数高效微调 |
| 云上弹性推理 | 扩缩容速度、多实例资源利用 | 实例规格与弹性策略 |
三、前置准备
3.1 基础知识
- Transformer解码器结构:自注意力、前馈网络、残差连接、归一化;
- 自回归生成与KV缓存的原理;
- RoPE的基本思想;
- 基本张量运算概念,如张量并行和流水线并行。
3.2 硬件与容量
- GPU显存:决定能否加载权重、能开多长的上下文、能承载多少并发;
- 内存与本地存储:模型权重下载、格式转换和量化需要占用主机内存,权重文件也需要预留足够的磁盘空间;
- 卡间与跨节点带宽:影响张量并行、专家并行等分布式方案的选择。跨节点通信通常是性能瓶颈之一。
3.3 软件环境
- Python环境,以及团队熟悉的深度学习框架;
- 推理框架:优先选择对新架构特性(滑动窗口、注意力汇聚点、思考模式模板等)支持及时、社区活跃的版本;
- 容器运行时与依赖管理工具;
- GPU驱动与计算库:版本需与框架匹配,建议使用统一的基础镜像固定版本。
3.4 数据与许可
- 从公开权重仓库获取模型,并通过官方校验值验证文件完整性;
- 阅读模型许可证,确认是否允许商用、是否要求衍生模型同样开源;
- 准备覆盖真实业务的评测集,并对敏感信息做脱敏。
四、核心知识:2025年LLM架构的关键演进
4.1 位置编码:从RoPE到”部分层不加位置编码”
早期解码器模型使用可学习的位置嵌入,模型能处理的长度在训练时就已固定。RoPE把位置信息以旋转的形式融入查询向量和键向量,使注意力分数天然带有相对位置关系,长度外推能力明显增强,如今已成为开源模型的事实标准。
2025年的变化在于长上下文扩展方式。业界普遍采用插值类方法:保持旋转频率底数不变,对高频维度做非均匀缩放(NTK-aware缩放),并结合温度调整。以YaRN为代表的方法则通过少量长序列继续训练,使同一套权重支持远大于原始训练长度的上下文。部分旗舰模型宣称支持百万级甚至千万级token的上下文。
另一类探索是”iRoPE”式设计,即交替使用不同的位置策略:
- 多数层不显式添加位置编码(NoPE);
- 每隔若干层插入带RoPE的层;
- 推理时交替使用局部注意力和全局注意力。
这样做的理由是,没有位置编码的层对序列长度不敏感,天然具备长度泛化能力;带RoPE的层负责提供精确的位置定位能力。这也说明,架构差异有时体现在层级别的排列组合上,而不是对某个模块的整体替换。
选择时的注意点:
- 宣称的长上下文大多依赖插值或继续训练,短文本(如4K以内)质量不一定提升;
- 推理侧使用的插值参数必须与权重的训练方式匹配,参数设置不当会明显损害短文本表现;
- 实际长文本能力必须以自己的评测集为准,不能只看标称长度。
4.2 注意力变体:GQA、潜在注意力与局部/全局交替
标准多头注意力中,每个查询头都有独立的键头和值头,KV缓存随序列长度线性增长,是长上下文推理的显存和带宽瓶颈。2025年的主流做法可归为四类:
分组查询注意力(GQA):多个查询头共享一组键值头。分组数越少,KV缓存越小。分组数为1时退化为多查询注意力(MQA),KV缓存最小,但表达能力受限。GQA是当前开源模型的默认选择。
潜在注意力(MLA):不直接缓存完整的键和值,而是先把每个token的键值压缩成低秩的潜向量并缓存,计算注意力时再上投影还原。潜向量维度远小于完整的键值维度,因此KV缓存大幅缩小。同时,施加RoPE的位置分量与压缩路径解耦,单独携带。这类方案压缩率最高,实现也最复杂,对推理框架的支持程度需要重点确认。
局部与全局交替:少数模型(如2025年发布的多模态开源模型系列)让大多数层使用滑动窗口局部注意力,每若干层插入一个全局注意力层。局部层只看当前token附近的窗口,全局层负责跨长距离的信息聚合,用较少的全局层数换取接近全注意力的长文本能力。
注意力汇聚点(Attention Sinks):softmax注意力会把一部分概率分配给序列开头的少量token。如果在滑动窗口实现中直接丢弃窗口外的键值,模型容易输出不稳定甚至无限生成。保留最开始的几个token作为”汇聚点”,可以稳定生成质量。这类实现有时还需要处理只保留部分位置RoPE的键值缓存,以及增量解码时跳过部分层以保持吞吐等细节,选型时要确认推理框架是否支持。
线性注意力及其混合形式也在探索中:用线性复杂度的算子替代大部分注意力层,只保留少量全注意力层。这类结构在理论上可以把长序列计算降到线性复杂度,但长上下文下的质量表现仍需在具体任务中验证。
4.3 归一化与激活函数
结构上比较一致的变化有两点:
- Pre-LN结构基本被Pre-RMSNorm取代。RMSNorm去掉了均值中心化,计算更轻;
- SwiGLU等门控激活函数取代了GELU。门控机制为前馈网络提供了乘性交互,但会带来额外三个投影矩阵,所以使用SwiGLU时隐藏维度通常取传统值的约三分之二,使参数量与原始FFN大致相当。
2025年值得关注的新细节是QK-Norm:部分模型在注意力计算前对查询向量和键向量做RMSNorm,抑制注意力logits的异常放大,让低精度训练更稳定。另有研究提出”深度优先”思路:让更多层停留在较低的模型维度上(即”窄而深”),以更少参数获得更强特征。这类设计仍处于探索阶段,但在开源模型中已经出现。
4.4 混合专家:用稀疏激活换取容量
稠密模型每增加一倍参数,推理计算量也会大致翻倍。MoE的做法是把前馈网络拆成多个”专家”,每个token只激活其中少数几个。例如,一个总参数671B、每token激活37B的混合专家模型,计算量接近同激活规模的稠密模型,但显存必须容纳全部专家。
2025年MoE的关键设计包括:
- 细粒度专家与共享专家:专家切得更小、数量更多,提升组合灵活性;同时设置始终激活的共享专家,承载通用知识;
- 无辅助损失负载均衡:用可动态调整的偏置,引导路由器把token均匀分配到各专家,避免辅助损失干扰主任务;
- 多token预测(MTP):训练时同时预测后续多个token,用于增强表示学习,也可在推理时作为投机解码的草稿来源。
部署时的判断原则:
- 显存按总参数估算,吞吐按激活参数估算;
- 如果显存刚好能放下权重、几乎没有KV缓存余量,高吞吐的优势就发挥不出来;
- 小批量、长上下文的场景尤其如此。
此外,MoE模型的专家结构使全参数微调的显存开销很高,多数团队会采用只训练附加模块的参数高效微调方式。
4.5 能力形态:混合思考与多模态融合
2025年的另一条主线,是把”是否深度思考”做成同一权重下的可控开关:
- 同一份权重支持思考模式和非思考模式,由提示模板或请求参数切换;
- 思考模式会生成较长的推理过程,质量和延迟成本同步上升;
- 部分模型还提供可调的思考预算,即允许用于思考的token上限。
结构上,多模态能力正从”适配器拼接”转向早期融合,把视觉等模态的token与文本token拼进同一个解码器序列。本教程聚焦文本能力,这部分只需了解,它会影响上下文长度与显存估算。
五、架构对比速查表
下表从公开模型卡可以确认的架构特征出发,按”结构组合”而非具体型号归纳(参数与上下文长度以官方模型卡为准):
| 结构组合 | 位置编码 | 注意力 | 前馈网络 | 上下文 | 特点与适用场景 |
|---|---|---|---|---|---|
| 组合A:中等规模MoE + 多token预测 | RoPE(YaRN扩展) | MLA潜压缩 | 细粒度专家 + 共享专家,SwiGLU | 128K起,可外推至约100万 | KV缓存小,长上下文性价比高,适合长文档、Agent |
| 组合B:大激活规模MoE + 多模态 | iRoPE(多数层无显式位置编码) | 局部窗口与全局层交替 | MoE,SwiGLU | 约100万 | 多模态与长上下文兼顾,显存需求大 |
| 组合C:MoE + 混合思考 | RoPE | GQA,部分层滑动窗口 | MoE,SwiGLU | 约128K–256K | 思考/非思考一键切换,注意思维链长度与后处理 |
| 组合D:中大规模MoE + 混合思考 | RoPE(YaRN扩展) | GQA + 查询键归一化 + 注意力汇聚点 | 细粒度专家 + 共享专家,SwiGLU | 约128K | 多尺寸覆盖,小尺寸适合低成本场景 |
| 组合E:小模型系列 + 混合思考 | RoPE | GQA,层间交替 | 稠密,SwiGLU | 约32K | 单卡或消费级显卡可运行,适合边缘与端侧 |
| 组合F:纯文本小尺寸 + 混合思考 + 长上下文 | RoPE,部分层无显式位置编码 + YaRN | 带滑动窗口的分组注意力 | 稠密 | 约32K–128K | 计算预算极低的场景 |
| 组合G:中尺寸稠密/小MoE | RoPE(YaRN扩展) | 注意力汇聚点 + 滑动窗口 | 稠密或MoE,SwiGLU | 约128K | 本地部署与边缘设备友好 |
六、架构选型实施步骤
步骤1:把业务需求转化为可量化的指标
做什么:把需求写成”质量底线 + 资源上限 + 能力清单”三部分,例如”领域问答准确率不低于现有基线、首token延迟低于1秒、总显存不超过2张80GB卡、支持128K上下文、支持工具调用”。
为什么:架构选型的本质是约束下的最优化。指标不量化,讨论就会停留在”参数越大越好”。
注意:延迟指标要区分首token延迟(TTFT)和每个输出token的延迟(TPOT)。前者主要受预填充长度影响,后者主要受模型规模与并发影响。
步骤2:建立候选清单并核对架构特征
做什么:按规模档位建立候选,并逐项核对位置编码方式、注意力变体、是否MoE及激活参数、上下文标称长度、推理框架支持情况、许可证。对照第五节的速查表打分。
为什么:这些特征直接决定显存占用、长文本质量和推理框架适配难度,比单一参数规模更有预测力。
注意:优先选择推理框架已原生支持其特殊结构的候选,比如潜在注意力、注意力汇聚点、思维链模板。依赖自行适配的模型,上线风险明显更高。
步骤3:估算显存与成本
做什么:按以下公式估算权重显存、KV缓存和总显存,再计算每百万token成本。
权重显存(GiB) ≈ 参数量(B) × 每参数字节数 / 1.024^3KV缓存(GiB) ≈ 2 × 批大小 × 序列长度 × 层数 × KV头数 × 头维度 × 每元素字节数 × 并发数 / 1.024^3总显存 ≈ 权重显存 / 目标显存利用率 + 激活与临时缓冲(通常预留10%~20%)
每参数字节数:FP16/BF16为2,FP8为1,4bit约为0.5(含分组量化的缩放因子等额外开销)。
示例(假设参数,仅用于说明算法):
- 候选模型总参数671B,每token激活37B,61层,KV头数远少于查询头数,头维度128,上下文128K,并发32;
- BF16权重约需1.25TB显存,8张80GB卡无法容纳,必须量化到4bit左右,或扩展到更多卡;
- 量化到4bit后权重约320GB,8卡每卡40GB,剩余约40GB可留给KV缓存与激活;
- 若KV缓存采用8bit,长上下文下每请求占用约数GB,因此单卡并发要控制在个位数,或借助MLA压缩降低KV缓存。
如果算出的每百万token成本超出预算,优先降低并发或缩短上下文,而不是盲目降低模型精度。
步骤4:确定上下文策略
做什么:按实际任务确定上下文长度;如果要超出原生训练长度,确认模型是否支持插值扩展,并准备长文本检索评测。
为什么:标称长度与实测能力常常不一致。
注意:推理侧插值参数与权重训练方式不匹配,会导致短文本质量下降,需要在4K、32K、128K等多个长度上分别验证。
步骤5:决定MoE、思考模式与量化
- MoE:追求单卡高吞吐、显存充足时优先考虑;显存紧张或需要全参数微调时,优先考虑稠密模型;
- 思考模式:复杂推理任务默认开启,并设置思考预算和思考内容过滤;简单分类、抽取任务关闭,以节省延迟;
- 量化:显存受限时优先选择W8A8或W4A16;显存充足时BF16精度损失最小。量化后必须重新评测。
步骤6:搭建评测环境并做A/B对比
做什么:用步骤1的指标构建私有评测集,在候选模型上跑同一套脚本,记录质量指标、TTFT、TPOT、吞吐与显存占用,形成对比报告。
为什么:公开榜单与自身任务的分布往往不一致,实测是唯一可靠依据。
注意:对比时要固定采样参数、系统提示和提示模板,避免把提示差异误判为模型差异。
七、推理配置说明
下表中的参数名仅为通用示意,不同推理框架的命名可能不同,以所用框架的文档为准。
| 配置项 | 含义 | 常见取值逻辑 | 风险提示 |
|---|---|---|---|
| tensor_parallel_size | 张量并行度,把单个算子切分到多卡 | 单卡放不下权重时设置,通常不超过单节点卡数 | 跨节点通信会显著增加TPOT |
| pipeline_parallel_size | 流水线并行度,按层切分 | 跨节点扩展时使用 | 会增加气泡,小批量下效率下降 |
| expert_parallel_size | 专家并行度,MoE专家分散到多卡 | MoE模型在张量并行之外追加 | 与TP的乘积需满足总卡数 |
| gpu_memory_utilization | 用于权重和KV缓存的显存比例 | 0.85~0.95,预留激活空间 | 过高容易OOM |
| max_model_len | 最大上下文长度 | 取任务需要值,而非模型标称上限 | 按最大值预分配会浪费显存 |
| kv_cache_dtype | KV缓存的数据类型 | 显存紧张时用fp8 | 长文本质量需验证 |
| max_num_seqs | 单批最大序列数 | 按压测结果逐步调高 | 过高导致排队和超时 |
| enable_chunked_prefill | 将长预填充切片与解码混合调度 | 长输入场景开启 | 可能略微提高TTFT |
| enable_prefix_caching | 复用相同前缀的KV缓存 | 系统提示固定的场景开启 | 显存占用上升 |
| rope_scaling | 位置编码插值配置 | 仅外推时使用,与权重匹配 | 参数不当会损害短文本 |
| enable_thinking | 是否启用思考模式 | 按任务类型控制 | 需配合思考预算与输出过滤 |
八、部署实施步骤
8.1 准备权重与校验
做什么:从公开仓库下载权重,核对校验值与文件完整性,并确认配置文件中的架构标识与参数字段和官方一致。
为什么:架构参数(层数、注意力头数、专家数等)必须与权重严格对应,否则加载会静默错位。
注意:部分模型的推理配置与训练配置分离,注意加载的是推理侧配置。
8.2 选择量化方案(可选)
做什么:显存不足时使用框架内置的权重量化,或转换为4bit/8bit格式。
为什么:量化能显著降低显存门槛,使更大模型在单机多卡上运行。
注意:MoE模型不同专家敏感度不同,转换后要用长文本和推理任务复测。
8.3 启动推理服务
参考配置(通用JSON示意):
{"model_path": "/models/llm-weights","tensor_parallel_size": 4,"expert_parallel_size": 1,"max_model_len": 131072,"gpu_memory_utilization": 0.90,"kv_cache_dtype": "auto","max_num_seqs": 32,"enable_chunked_prefill": true,"enable_prefix_caching": true,"rope_scaling": { "type": "yarn", "factor": 4.0 },"enable_thinking": true,"reasoning_parser": "auto"}
参数含义与设置依据:
- tensor_parallel_size:由步骤3的权重显存估算决定,不超过单节点卡数;
- max_model_len:按任务需要的上下文长度设置,避免按标称上限预留;
- gpu_memory_utilization:留出10%~15%给激活与临时缓冲;
- rope_scaling:仅在外推超出原生训练长度时设置,factor由目标长度与原生长度之比推算;
- enable_thinking与reasoning_parser:开启思考模式时,需要框架把思维链从最终回答中分离。
8.3 启动推理服务(续)
推理框架的通用启动命令:
python -m <inference_engine.entry_point> \--model /models/llm-weights \--tensor-parallel-size 4 \--max-model-len 131072 \--gpu-memory-utilization 0.90 \--enable-prefix-caching \--enable-chunked-prefill \--rope-scaling '{"type":"yarn","factor":4.0}'
其中<inference_engine.entry_point>替换为所用框架的服务入口模块。
为什么以OpenAI兼容接口对外提供服务:这样客户端代码无需改动即可迁移,也便于接入统一网关。
8.4 服务化编排(生产环境)
在容器编排平台上以 Deployment 形式部署,配置就绪探针、存活探针、资源限制和水平扩缩容;前置负载均衡按最少连接或一致性哈希分发请求,启用前缀缓存时尤其要注意路由亲和,让相同前缀落到同一实例。通过百度智能云容器服务承载推理服务时,可结合弹性伸缩、负载均衡、日志服务与监控告警能力,实现按GPU利用率或请求量自动扩缩容。
九、结果验证
9.1 功能验证清单
- 健康检查通过,服务可用;
- 流式与非流式输出均正常;
- 思考模式可开关,思维链与最终回答分离正确;
- 长上下文请求不截断、不报错;
- 工具调用、结构化输出(如JSON模式)能被正确解析。
9.2 性能验证
- TTFT:在输入长度2K、32K、128K下分别测量;
- TPOT与吞吐:在并发1、8、32、64下逐步加压,记录吞吐与P99延迟;
- 显存水位:观察不同并发与上下文长度下的KV缓存占用。
9.3 质量验证
- 在私有评测集上对比候选模型;
- 用长文本检索类测试(在长文中埋入目标句并提问)评估不同长度的召回能力;
- 量化前后对比,确认损失在可接受范围。
十、常见问题与排查
| 现象 | 可能原因 | 排查思路 |
|---|---|---|
| 启动即显存溢出(OOM) | 权重未量化、max_model_len过大、显存利用率设置过高 | 降低max_model_len、启用量化、调整gpu_memory_utilization |
| 运行中偶发OOM | 并发峰值下KV缓存超限 | 限制max_num_seqs、开启分页式KV管理、评估fp8 KV缓存 |
| 长文本回答遗漏关键信息 | 插值参数不匹配或全局层不足 | 核对rope_scaling、做不同长度检索测试 |
| 短文本质量明显下降 | 外推参数在短序列上过度缩放 | 短文本场景关闭插值,或使用原生训练长度 |
| MoE吞吐不如预期 | 专家并行通信开销、路由不均衡 | 调整TP/EP比例、检查专家负载分布 |
| 思考模式输出包含思维链 | 解析器未启用或模板不匹配 | 启用reasoning_parser、核对提示模板 |
| 生成重复或截断 | 采样参数或最大生成长度设置不当 | 调整温度、重复惩罚与max_tokens |
| 输出格式不遵循 | 结构化输出约束缺失 | 使用JSON模式或语法约束解码 |
十一、优化建议
- 性能:开启前缀缓存、分块预填充和连续批处理;推理任务可考虑投机解码,利用MoE模型多token预测头作为草稿来源。
- 安全:API密钥通过密钥管理服务托管,不写入配置文件;推理服务仅在内网或网关后暴露;对输入输出做内容审核与提示注入防护。
- 稳定性:多副本部署配合健康检查,设置请求超时与限流,按GPU利用率自动扩缩容。
- 可维护性:模型版本、量化方案、推理配置统一纳入配置管理,镜像与依赖版本固定。
- 成本控制:按”每百万token成本”而非”参数规模”做决策;思考模式按任务分级启用;日志与评测数据存放在百度智能云对象存储中,通过生命周期策略归档冷数据。
十二、总结
2025年的开源大模型在结构上延续了解码器-only的主线,创新集中在三处:稀疏化(MoE)、注意力与KV缓存压缩(GQA、MLA、局部/全局交替、注意力汇聚点)、以及能力形态的可控化(混合思考、多模态早期融合)。选型时,应把这些结构特征转化为显存、延迟和质量的量化指标,再用私有评测集做实测验证。
后续可继续关注的方向包括:线性注意力与混合结构的成熟程度、MoE路由与专家并行的工程优化、位置编码外推的新方案,以及推理模式训练与蒸馏对成本结构的影响。如需云端弹性部署方案,可参考百度智能云GPU云服务器与容器服务的文档,或咨询官方技术支持。

登录后可评论,请前往 登录 或 注册