Strata分层放置拆解:小显存跑大模型
作者:c4t2026.11.17 03:27浏览量:0简介:本文解析开源引擎Strata如何把MoE模型的专家权重分放在显存、内存和SSD中,并说明显存容量为何影响缓存命中率。文章整理原始测试中5070与5080的速度对比,同时标出无法核验的数据和缺失的测试条件。文末给出复现前需要确认的事项,以及本地部署与云端API的选择思路。
先说结论
Strata 是一个开源推理引擎。它把 MoE(混合专家)模型的专家权重分散存放在显存、内存和 SSD 三层里,显存只保留当前最常用的专家。原始测试报告称,一张 12GB 显存的 RTX 5070 可以运行一个 125B 参数的模型,单流生成速度为 65.1 tok/s。换成 16GB 的 RTX 5080 后,速度为 87.5 tok/s。
这些数字来自单一测试报告,报告没有给出完整的测试条件、命令行和软件版本,因此本文把它们当作参考值。读者可以把它们当作判断方案方向是否合理的线索,而不是可以直接套用的性能基准。
为什么大模型比显卡大时,只有两条路
假设一个模型文件有 83 本书那么大,而显卡的显存只能放下 12 本。传统上只有两种做法。
第一种是直接加载。显存放不下时,程序在加载阶段报显存不足(OOM),任务无法启动。
第二种是把全部权重放进内存,计算时再从内存搬到显卡。这样能跑起来,但每次前向计算都要搬运数据,显卡大部分时间在等待。原始文章估计这种方式每秒只能输出四五个字,一句话要等半分钟。
Strata 走的是第三条路。显存只留下马上要用的权重,其余放在内存和 SSD 中,用完就替换。
三层放置的工作方式
| 层级 | 硬件 | 存放内容 | 报告给出的容量 |
|---|---|---|---|
| 第一层 | 显存(VRAM) | 当前最常用的专家权重,作为缓存 | 12GB 或 16GB |
| 第二层 | 内存(RAM) | 全部专家权重,按需换入换出 | 46.8GB |
| 第三层 | SSD | 辅助文件和冷数据,需要时再读取 | 28.8GB |
这套设计依赖 MoE 架构。MoE 模型每个 token 只会激活少数几个专家,而不会让全部参数参与计算。因此,显存不需要容纳全部
相关文章推荐
发表评论
活动

登录后可评论,请前往 登录 或 注册