推理GPU利用率低?先查四类浪费再谈扩容
作者:新兰2026.11.17 03:33浏览量:0简介:GPU利用率低,未必是卡不够,常见原因是虚拟化通信变慢、调度排队、重复计算和显存碎片。本文围绕HICA InfraOS的四类机制,给出上线前建立基线、灰度验证、判定收益和持续回滚的四个步骤,并列出需要观测的指标与回滚条件,帮助团队在扩容前先用好已有算力。
GPU利用率低,问题未必出在卡数不够。很多团队的GPU在虚拟化、调度和显存管理上已有大量浪费,此时直接加卡只会放大成本。
HICA InfraOS是神州数码推出的AI推理算力操作系统。依据厂商公开资料,它在统一的算力调度层中处理硬件通信、调度、推理加速和显存问题,让现有GPU承担更多请求。下面先说明浪费从哪里来,再分析四类机制各自的适用条件,最后给出企业上线的四个步骤和观测指标。
一、先判断浪费来自哪里
推理场景的资源浪费通常来自四处。
第一,虚拟化环境可能拖慢卡间通信。多卡推理中,张量并行和流水线并行要在卡之间传输激活值和KV Cache。通信变慢时,GPU会花时间等待数据。
第二,长短任务混在同一队列。长文本生成会长时间占用实例,短请求和高优先级请求只能排队。
第三,大量请求共享相同的系统提示词或RAG检索片段。每次都重新计算前缀,等于重复付费。
第四,显存分配粗放。碎片增多后,可用于并发的显存变少,批处理规模上不去。
这四类问题与卡的数量没有直接关系。动手扩容前,应先用监控数据确认是哪一类问题。
二、四类机制及其适用条件
1. 硬件通信:检查虚拟化对卡间传输的影响
HICA InfraOS从BIOS和设备配置层面入手,减少虚拟化带来的通信开销。实际排查时,常见需要核对的项包括:Above 4G Decoding、Resizable BAR、PCIe ACS(访问控制服务)设置、SR-IOV开关,以及GPU与NUMA节点的映射关系。具体选项名称和取值以服务器厂商与GPU型号的手册为准,不同型号差别较大。
这类优化的效果取决于GPU型号、驱动版本、虚拟化平台和推理框架是否兼容。上线前应先查兼容矩阵,再在测试环境中改动。每次只改一项,便于判断效果来自哪里。
验证方法有两个。其一,用卡间带宽测试工具(例如CUDA示例中的P2P带宽与延迟测试程序)在改动前后各测一次,比较点对点带宽和延迟。其二,用真实请求回放,比较多卡推理的端到端延迟。只看带宽提升,无法说明业务是否受益。
如果BIOS或虚拟化层不允许改动,可以评估替代路径。例如使用GPU直通或SR-IOV减少虚拟化层开销,或让调度器把同一模型的并行组放在拓扑相近的卡上。
2. 智能调度:让长任务不拖慢关键请求
企业推理通常同时承载智能客服、知识问答、代码助手和文档摘要。各业务的时延要求不同。如果所有请求共用一个队列,长任务会长期占用GPU。
HICA InfraOS的调度有两个重点。一是拓扑感知,调度器理解GPU之间的连接关系、NUMA结构和卡间带宽,把请求放到更合适的设备上。二是上下文感知,调度器结合请求长度、模型类型和缓存状态,把请求导向已预热或匹配度更高的实例。系统还支持高优先级请求插队,保障实时业务。
部署时需要明确以下几件事:
- 拓扑数据从哪里采集,采集频率是多少,拓扑变化后如何更新。
- 高优先级队列的容量上限是多少,超过上限时的降级策略是什么。
- 请求长度的分档标准,以及长任务是拆分、限流,还是单独分配实例。
- 与推理框架的接口是否对齐,版本升级后调度行为是否变化。
这些参数缺一项,调度效果都难以复现。建议先用历史请求日志估算每类业务的长度分布和峰值并发,再据此设定队列参数。
3. 前缀缓存与投机解码:减少重复计算,并计入成本
前缀缓存保存共享前缀的计算结果。系统提示词、固定模板和RAG检索片段都适合缓存。它适用于RAG问答、企业知识库助手、固定角色对话和批量文档处理。开放式创作,或每次输入差异很大的请求,命中率通常很低,收益有限。
判断前缀缓存是否值得保留,可以看命中率和节省的首Token延迟。可以先设定一个起步阈值,例如连续一周命中率低于20%时,暂时关闭该策略并回到基线,之后再根据业务数据调整。缓存本身占用显存,命中率低时,缓存反而会挤压并发能力,因此要与显存指标一起看。
投机解码由小模型先生成候选内容,再由大模型验证和修正。它有三个前提。第一,小模型与大模型的词表需要一致。第二,接受率需要通过压测确认,接受率低时收益很小。第三,小模型自身的推理也消耗算力。压测时要比较的是净吞吐,即扣除小模型开销后,每秒输出的Token数是否真的增加。输出结构稳定、候选内容容易验证的任务,例如JSON抽取和固定格式分类,更适合采用。自由生成的长文本,接受率通常较低。
4. 显存治理:按模型类型分配资源
不同模型的显存占用模式差异明显。HICA InfraOS对三类模型采用不同策略:
| 模型类型 | 显存特点 | 优化方向 |
|---|---|---|
| Encoder型模型 | 输入编码阶段显存压力明显 | 按编码阶段需求调整批处理规模 |
| 弱KV缓存型模型 | KV Cache占用相对较低 | 提高批处理与并发能力 |
| 强KV缓存型模型 | KV Cache占用高,长上下文更明显 | 精细管理缓存生命周期,回收闲置显存 |
批大小和缓存回收的触发条件,需要根据自身模型的显存占用曲线设定。操作时,先在压测中记录不同批大小下的显存峰值和P99延迟,找到并发与延迟的拐点,再把批大小设在拐点之前。缓存回收可以同时参照显存使用率和空闲时长两个维度设置,并在压测中验证回收后的首请求延迟是否可接受。
对于长上下文、多轮对话和批量推理,显存治理的收益通常比单纯提升算力更直接。
三、企业落地的四个步骤
第一步:建立基线
上线前,先记录现状。内容包括GPU型号与数量、卡间互联方式、虚拟化平台与驱动版本、每个模型所属的类型,以及各业务的请求量和长度分布。
同时采集至少两周的基线指标,并确保覆盖一个完整的业务高峰。基线应包含GPU利用率、显存使用率、首Token延迟(TTFT)、单Token输出时间(TPOT)、P95和P99延迟、吞吐(tokens/s)、排队时长和错误率。没有基线,

登录后可评论,请前往 登录 或 注册