logo

AI推理服务内存容量规划与上线全流程指南

作者:菠萝爱吃肉2026.11.18 12:10浏览量:0

简介:在内存容量和带宽成为瓶颈的情况下,本文讲清楚如何计算AI推理服务的内存预算,并给出可直接执行的部署步骤、资源限额配置、上线验证标准与OOM排查方法。读者可以直接套用这套流程,减少因内存超限导致的重启和返工。

一、先算清楚内存预算

在AI推理服务中,内存往往比CPU或加速器更早被占满。本文假设模型权重驻留在主机内存中。若权重放在GPU显存里,需要单独计算显存预算。

单实例内存可以用下面的公式估算:

单实例内存 ≈ 模型权重 + KV缓存 + 运行时开销 + 缓冲区

  • 模型权重:参数量乘以每个参数的字节数。7B参数模型以FP16存储约需14 GB,INT8约需7 GB,INT4约需3.5 GB。模型文件的格式和元数据还会带来少量额外占用。
  • KV缓存:与并发请求数、上下文长度和模型层数相关。长上下文场景中,它通常是最大的变量。
  • 运行时开销:解释器、推理框架、算子库等,一般需要几个GB。
  • 缓冲区:请求体、响应体和批处理的临时张量。

以一台128 GB内存的主机为例。部署两份13B模型,FP16权重约26 GB。每份模型预留8 GB KV缓存和4 GB运行时开销,单实例合计约38 GB,两实例合计76 GB。再加上8 GB系统保留,总计84 GB,剩余约44 GB,余量约34%,满足20%到30%的安全余量要求。

如果改为三实例,合计约114 GB,加上系统保留后为122 GB,余量只剩约5%。遇到长上下文请求时,很容易触发OOM。

二、内存紧张时的规划原则

  • 先定精度,再定实例数。 量化可以直接减少权重占用,但需要用评估集确认精度损失在可接受范围内。
  • 每个实例都设上限。 单个实例失败的影响远小于它拖垮整台主机。
  • 提前安排扩容。 内存模组的交付周期和价格都会波动。建议根据未来6到12个月的需求预测,把扩容窗口写进采购计划。行业公开信息只能作为规划背景,实际容量以采购报价和交付周期为准。
  • 不要把新规格当作当前方案的前提。 DRAM单元面积持续缩小,3D DRAM也在研发中,但新工艺早期的成本和良率通常较高。部署方案应当支持平滑迁移到更大内存规格,而应用代码无需重写。

三、部署前准备

项目 推荐版本或要求 说明
操作系统 Ubuntu 22.04 LTS 或 RHEL 9 系列 与团队现有镜像保持一致
容器运行时 Docker 24.x 或更高版本 支持cgroup v2下的内存限制
Python 3.10或3.11 与推理框架官方支持的范围一致
推理框架 按模型官方要求锁定小版本 不同小版本的内存占用可能不同
密钥管理 企业Vault或云厂商密钥服务 禁止写入镜像、代码或日志

开发、测试和生产环境应使用同一个镜像摘要(digest),避免”测试环境能跑、生产环境失败”。

四、部署步骤

4.1 环境初始化

第一步,确认内存、NUMA拓扑和cgroup版本:

  1. free -g
  2. lscpu | grep -E "^CPU\(s\)|NUMA"
  3. uname -r
  4. stat -fc %T /sys/fs/cgroup

最后一条命令应输出cgroup2fs。若输出tmpfs,说明主机仍运行cgroup v1,需要先调整启动参数。

第二步,写入内核参数,文件路径为/etc/sysctl.d/90-infer.conf:

  1. vm.swappiness = 10
  2. vm.max_map_count = 262144
  3. fs.file-max = 1048576

执行sudo sysctl --system使其生效。vm.swappiness设为较低值,可以减少内存页被换出到磁盘的概率。vm.max_map_count需要满足大模型通过mmap加载权重时的映射数量。fs.file-max用于支撑高并发连接。

第三步,创建服务账号和目录:

  1. sudo useradd --system --no-create-home --shell /usr/sbin/nologin infer
  2. sudo mkdir -p /opt/models /etc/infer
  3. sudo chmod 750 /etc/infer

第四步,创建密钥文件。该文件只允许root读写:

  1. sudo install -m 600 -o root -g root /dev/null /etc/infer/secrets.env

生产环境中,密钥应由Vault agent或同类组件写入,而不是人工编辑。

4.2 构建与分发

使用Git提交号作为镜像标签:

  1. TAG=$(git rev-parse --short HEAD)
  2. docker build -t registry.example.internal/infer-api:$TAG .
  3. docker push registry.example.internal/infer-api:$TAG
  4. docker inspect --format='{{index .RepoDigests 0}}' registry.example.internal/infer-api:$TAG

目标主机拉取时使用摘要(@sha256:...),而不是标签,以确保拉取到的镜像内容完全一致。

模型文件按/opt/models/<模型名>/<版本号>存放,并以只读方式挂载到容器中。

4.3 配置运行参数

  1. service:
  2. name: infer-api
  3. instances: 2
  4. resources:
  5. memory_limit: 40Gi # 单实例预估38 GB,取整并保留约2 GB余量
  6. memory_request: 36Gi
  7. max_concurrency: 8 # 由KV缓存预算反推:8 GB / 实测单路约1 GB
  8. queue_size: 64
  9. queue_timeout_ms: 2000 # 超时返回503,由客户端退避重试
  10. cache:
  11. result_cache_max_mb: 2048 # 约为单机余量的5%,避免挤占模型权重空间
  12. eviction: lru
  13. ttl_seconds: 600
  14. retry:
  15. max_attempts: 2 # 仅对幂等请求重试
  16. backoff_ms: 200
  17. backoff_multiplier: 2
  18. jitter: true

以上数值用于说明计算方法,实际取值应以压测结果为准。

启动单个实例的示例命令如下:

  1. docker run -d --name infer-api-1 \
  2. --memory=40g --memory-swap=40g \
  3. --cpus=8 --cpuset-mems=0 \
  4. --restart=unless-stopped \
  5. --env-file /etc/infer/secrets.env \
  6. -v /opt/models/llm/v3:/models:ro \
  7. -p 127.0.0.1:8081:8080 \
  8. registry.example.internal/infer-api@sha256:<摘要>

--memory-swap与--memory设为相同值,表示容器内不使用交换空间。--cpuset-mems=0把内存分配限制在NUMA节点0上,减少跨节点访问。第二个实例使用8082端口,并绑定到另一组CPU和NUMA节点。

4.4 启动顺序与健康检查

按以下顺序启动:缓存和外部依赖,然后推理实例,最后接入负载均衡。/healthz应只在权重加载完成且预热请求成功后返回200。

  1. curl -fsS http://127.0.0.1:8081/healthz
  2. docker inspect -f '{{.State.Health.Status}}' infer-api-1

4.5 灰度发布

  • 第一阶段:5%流量,观察30分钟。
  • 第二阶段:25%流量,观察1小时。
  • 全量前检查:错误率较基线高出0.5个百分点以上,或内存工作集持续增长超过5%,立即回滚。

五、上线验证标准

验证维度 测试方法 通过标准
功能 回归用例集,固定随机种子 关键样本输出与基线一致
内存 压测峰值并发为max_concurrency乘以实例数再乘以1.2,持续60分钟 稳态后内存增长不超过5%,峰值不超过限额的85%
性能 同上压测 P95不超过1500 ms,P99不超过3000 ms,吞吐不低于目标QPS
稳定性 连续运行24小时 重启次数为0,无OOM
监控 检查告警规则是否生效 内存使用率超过85%持续5分钟触发警告,超过92%触发严重告警

延迟阈值是示例值,应根据业务SLA调整。

压测可以使用k6:

  1. k6 run --duration 60m --vus 40 load.js

内存状态检查命令:

  1. docker stats --no-stream infer-api-1
  2. docker inspect -f 'restart={{.RestartCount}} oom={{.State.OOMKilled}}' infer-api-1

若使用cAdvisor采集指标,可以用以下PromQL查看内存增长速率:

  1. deriv(container_memory_working_set_bytes{name="infer-api-1"}[30m])

六、常见问题与排查

现象 可观测指标 排查步骤
频繁OOM OOMKilled为true;`dmesg -T \ grep -i “out of memory”`有记录 观察内存曲线。若随请求数阶梯上升,降低max_concurrency;若持续线性增长,采集内存快照排查泄漏
首次请求延迟高 框架日志中的模型加载耗时;首个请求的延迟 启动后执行预热请求;把模型文件放到本地NVMe盘,而不是网络存储
吞吐低于预期 vmstat 1中si和so列非零,说明发生换页;numastat -p <pid>中跨节点访问比例偏高 检查交换空间是否被使用;绑定NUMA节点;调整批大小
扩容后资源不足 采购单状态与交付日期 设置75%容量水位红线,超过即触发采购流程;临时降低队列上限,让超出的请求快速返回503

七、回滚方案

  1. 保留最近三个版本的镜像摘要和配置快照。
  2. 回滚时,先从负载均衡中摘除异常实例,再使用上一版摘要重新启动容器,参数与原命令保持一致。
  3. 数据库结构变更采用兼容式演进:先增加字段,再切换读写逻辑,最后删除旧字段。这样新旧版本可以同时运行。
  4. 回滚完成后,检查内存曲线和错误率,确认恢复到基线水平。

八、运维与成本

  • 单位请求内存成本:实例内存占用乘以单位内存成本,再除以日均有效请求数。
  • 闲置率:1减去平均QPS除以压测峰值QPS。闲置率长期偏高时,应考虑合并实例。
  • 弹性伸缩要慎重:大模型加载耗时较长,频繁扩缩容会增加首次请求延迟。建议以小时级窗口调整实例数。
  • 冷热分层:长期不用的模型保存在本地盘,按需加载。量化方案需要与精度评估一起推进。

九、上线检查清单

  • 内存预算按公式计算,余量不低于20%
  • 每个实例都设置了memory_limit和max_concurrency
  • 密钥未出现在镜像、代码或日志中
  • 压测通过60分钟稳态检查
  • 回滚命令已在测试环境演练

发表评论

活动