AI推理服务内存容量规划与上线全流程指南
作者:菠萝爱吃肉2026.11.18 12:10浏览量:0简介:在内存容量和带宽成为瓶颈的情况下,本文讲清楚如何计算AI推理服务的内存预算,并给出可直接执行的部署步骤、资源限额配置、上线验证标准与OOM排查方法。读者可以直接套用这套流程,减少因内存超限导致的重启和返工。
一、先算清楚内存预算
在AI推理服务中,内存往往比CPU或加速器更早被占满。本文假设模型权重驻留在主机内存中。若权重放在GPU显存里,需要单独计算显存预算。
单实例内存可以用下面的公式估算:
单实例内存 ≈ 模型权重 + KV缓存 + 运行时开销 + 缓冲区
- 模型权重:参数量乘以每个参数的字节数。7B参数模型以FP16存储约需14 GB,INT8约需7 GB,INT4约需3.5 GB。模型文件的格式和元数据还会带来少量额外占用。
- KV缓存:与并发请求数、上下文长度和模型层数相关。长上下文场景中,它通常是最大的变量。
- 运行时开销:解释器、推理框架、算子库等,一般需要几个GB。
- 缓冲区:请求体、响应体和批处理的临时张量。
以一台128 GB内存的主机为例。部署两份13B模型,FP16权重约26 GB。每份模型预留8 GB KV缓存和4 GB运行时开销,单实例合计约38 GB,两实例合计76 GB。再加上8 GB系统保留,总计84 GB,剩余约44 GB,余量约34%,满足20%到30%的安全余量要求。
如果改为三实例,合计约114 GB,加上系统保留后为122 GB,余量只剩约5%。遇到长上下文请求时,很容易触发OOM。
二、内存紧张时的规划原则
- 先定精度,再定实例数。 量化可以直接减少权重占用,但需要用评估集确认精度损失在可接受范围内。
- 每个实例都设上限。 单个实例失败的影响远小于它拖垮整台主机。
- 提前安排扩容。 内存模组的交付周期和价格都会波动。建议根据未来6到12个月的需求预测,把扩容窗口写进采购计划。行业公开信息只能作为规划背景,实际容量以采购报价和交付周期为准。
- 不要把新规格当作当前方案的前提。 DRAM单元面积持续缩小,3D DRAM也在研发中,但新工艺早期的成本和良率通常较高。部署方案应当支持平滑迁移到更大内存规格,而应用代码无需重写。
三、部署前准备
| 项目 | 推荐版本或要求 | 说明 |
|---|---|---|
| 操作系统 | Ubuntu 22.04 LTS 或 RHEL 9 系列 | 与团队现有镜像保持一致 |
| 容器运行时 | Docker 24.x 或更高版本 | 支持cgroup v2下的内存限制 |
| Python | 3.10或3.11 | 与推理框架官方支持的范围一致 |
| 推理框架 | 按模型官方要求锁定小版本 | 不同小版本的内存占用可能不同 |
| 密钥管理 | 企业Vault或云厂商密钥服务 | 禁止写入镜像、代码或日志 |
开发、测试和生产环境应使用同一个镜像摘要(digest),避免”测试环境能跑、生产环境失败”。
四、部署步骤
4.1 环境初始化
第一步,确认内存、NUMA拓扑和cgroup版本:
free -glscpu | grep -E "^CPU\(s\)|NUMA"uname -rstat -fc %T /sys/fs/cgroup
最后一条命令应输出cgroup2fs。若输出tmpfs,说明主机仍运行cgroup v1,需要先调整启动参数。
第二步,写入内核参数,文件路径为/etc/sysctl.d/90-infer.conf:
vm.swappiness = 10vm.max_map_count = 262144fs.file-max = 1048576
执行sudo sysctl --system使其生效。vm.swappiness设为较低值,可以减少内存页被换出到磁盘的概率。vm.max_map_count需要满足大模型通过mmap加载权重时的映射数量。fs.file-max用于支撑高并发连接。
第三步,创建服务账号和目录:
sudo useradd --system --no-create-home --shell /usr/sbin/nologin infersudo mkdir -p /opt/models /etc/infersudo chmod 750 /etc/infer
第四步,创建密钥文件。该文件只允许root读写:
sudo install -m 600 -o root -g root /dev/null /etc/infer/secrets.env
生产环境中,密钥应由Vault agent或同类组件写入,而不是人工编辑。
4.2 构建与分发
使用Git提交号作为镜像标签:
TAG=$(git rev-parse --short HEAD)docker build -t registry.example.internal/infer-api:$TAG .docker push registry.example.internal/infer-api:$TAGdocker inspect --format='{{index .RepoDigests 0}}' registry.example.internal/infer-api:$TAG
目标主机拉取时使用摘要(@sha256:...),而不是标签,以确保拉取到的镜像内容完全一致。
模型文件按/opt/models/<模型名>/<版本号>存放,并以只读方式挂载到容器中。
4.3 配置运行参数
service:name: infer-apiinstances: 2resources:memory_limit: 40Gi # 单实例预估38 GB,取整并保留约2 GB余量memory_request: 36Gimax_concurrency: 8 # 由KV缓存预算反推:8 GB / 实测单路约1 GBqueue_size: 64queue_timeout_ms: 2000 # 超时返回503,由客户端退避重试cache:result_cache_max_mb: 2048 # 约为单机余量的5%,避免挤占模型权重空间eviction: lruttl_seconds: 600retry:max_attempts: 2 # 仅对幂等请求重试backoff_ms: 200backoff_multiplier: 2jitter: true
以上数值用于说明计算方法,实际取值应以压测结果为准。
启动单个实例的示例命令如下:
docker run -d --name infer-api-1 \--memory=40g --memory-swap=40g \--cpus=8 --cpuset-mems=0 \--restart=unless-stopped \--env-file /etc/infer/secrets.env \-v /opt/models/llm/v3:/models:ro \-p 127.0.0.1:8081:8080 \registry.example.internal/infer-api@sha256:<摘要>
--memory-swap与--memory设为相同值,表示容器内不使用交换空间。--cpuset-mems=0把内存分配限制在NUMA节点0上,减少跨节点访问。第二个实例使用8082端口,并绑定到另一组CPU和NUMA节点。
4.4 启动顺序与健康检查
按以下顺序启动:缓存和外部依赖,然后推理实例,最后接入负载均衡。/healthz应只在权重加载完成且预热请求成功后返回200。
curl -fsS http://127.0.0.1:8081/healthzdocker inspect -f '{{.State.Health.Status}}' infer-api-1
4.5 灰度发布
- 第一阶段:5%流量,观察30分钟。
- 第二阶段:25%流量,观察1小时。
- 全量前检查:错误率较基线高出0.5个百分点以上,或内存工作集持续增长超过5%,立即回滚。
五、上线验证标准
| 验证维度 | 测试方法 | 通过标准 |
|---|---|---|
| 功能 | 回归用例集,固定随机种子 | 关键样本输出与基线一致 |
| 内存 | 压测峰值并发为max_concurrency乘以实例数再乘以1.2,持续60分钟 |
稳态后内存增长不超过5%,峰值不超过限额的85% |
| 性能 | 同上压测 | P95不超过1500 ms,P99不超过3000 ms,吞吐不低于目标QPS |
| 稳定性 | 连续运行24小时 | 重启次数为0,无OOM |
| 监控 | 检查告警规则是否生效 | 内存使用率超过85%持续5分钟触发警告,超过92%触发严重告警 |
延迟阈值是示例值,应根据业务SLA调整。
压测可以使用k6:
k6 run --duration 60m --vus 40 load.js
内存状态检查命令:
docker stats --no-stream infer-api-1docker inspect -f 'restart={{.RestartCount}} oom={{.State.OOMKilled}}' infer-api-1
若使用cAdvisor采集指标,可以用以下PromQL查看内存增长速率:
deriv(container_memory_working_set_bytes{name="infer-api-1"}[30m])
六、常见问题与排查
| 现象 | 可观测指标 | 排查步骤 | |
|---|---|---|---|
| 频繁OOM | OOMKilled为true;`dmesg -T \ |
grep -i “out of memory”`有记录 | 观察内存曲线。若随请求数阶梯上升,降低max_concurrency;若持续线性增长,采集内存快照排查泄漏 |
| 首次请求延迟高 | 框架日志中的模型加载耗时;首个请求的延迟 | 启动后执行预热请求;把模型文件放到本地NVMe盘,而不是网络存储 | |
| 吞吐低于预期 | vmstat 1中si和so列非零,说明发生换页;numastat -p <pid>中跨节点访问比例偏高 |
检查交换空间是否被使用;绑定NUMA节点;调整批大小 | |
| 扩容后资源不足 | 采购单状态与交付日期 | 设置75%容量水位红线,超过即触发采购流程;临时降低队列上限,让超出的请求快速返回503 |
七、回滚方案
- 保留最近三个版本的镜像摘要和配置快照。
- 回滚时,先从负载均衡中摘除异常实例,再使用上一版摘要重新启动容器,参数与原命令保持一致。
- 数据库结构变更采用兼容式演进:先增加字段,再切换读写逻辑,最后删除旧字段。这样新旧版本可以同时运行。
- 回滚完成后,检查内存曲线和错误率,确认恢复到基线水平。
八、运维与成本
- 单位请求内存成本:实例内存占用乘以单位内存成本,再除以日均有效请求数。
- 闲置率:1减去平均QPS除以压测峰值QPS。闲置率长期偏高时,应考虑合并实例。
- 弹性伸缩要慎重:大模型加载耗时较长,频繁扩缩容会增加首次请求延迟。建议以小时级窗口调整实例数。
- 冷热分层:长期不用的模型保存在本地盘,按需加载。量化方案需要与精度评估一起推进。
九、上线检查清单
- 内存预算按公式计算,余量不低于20%
- 每个实例都设置了
memory_limit和max_concurrency - 密钥未出现在镜像、代码或日志中
- 压测通过60分钟稳态检查
- 回滚命令已在测试环境演练

登录后可评论,请前往 登录 或 注册