logo

Strata分层放置拆解:小显存跑大模型

作者:c4t2026.11.17 03:27浏览量:0

简介:本文解析开源引擎Strata如何把MoE模型的专家权重分放在显存、内存和SSD中,并说明显存容量为何影响缓存命中率。文章整理原始测试中5070与5080的速度对比,同时标出无法核验的数据和缺失的测试条件。文末给出复现前需要确认的事项,以及本地部署与云端API的选择思路。

先说结论

Strata 是一个开源推理引擎。它把 MoE(混合专家)模型的专家权重分散存放在显存、内存和 SSD 三层里,显存只保留当前最常用的专家。原始测试报告称,一张 12GB 显存的 RTX 5070 可以运行一个 125B 参数的模型,单流生成速度为 65.1 tok/s。换成 16GB 的 RTX 5080 后,速度为 87.5 tok/s。

这些数字来自单一测试报告,报告没有给出完整的测试条件、命令行和软件版本,因此本文把它们当作参考值。读者可以把它们当作判断方案方向是否合理的线索,而不是可以直接套用的性能基准。

为什么大模型比显卡大时,只有两条路

假设一个模型文件有 83 本书那么大,而显卡的显存只能放下 12 本。传统上只有两种做法。

第一种是直接加载。显存放不下时,程序在加载阶段报显存不足(OOM),任务无法启动。

第二种是把全部权重放进内存,计算时再从内存搬到显卡。这样能跑起来,但每次前向计算都要搬运数据,显卡大部分时间在等待。原始文章估计这种方式每秒只能输出四五个字,一句话要等半分钟。

Strata 走的是第三条路。显存只留下马上要用的权重,其余放在内存和 SSD 中,用完就替换。

三层放置的工作方式

层级 硬件 存放内容 报告给出的容量
第一层 显存(VRAM) 当前最常用的专家权重,作为缓存 12GB 或 16GB
第二层 内存(RAM) 全部专家权重,按需换入换出 46.8GB
第三层 SSD 辅助文件和冷数据,需要时再读取 28.8GB

这套设计依赖 MoE 架构。MoE 模型每个 token 只会激活少数几个专家,而不会让全部参数参与计算。因此,显存不需要容纳全部

发表评论

活动