通用智能系统推理服务部署全流程实践

一、先明确部署对象

通用人工智能（AGI）目前仍处于研究阶段，尚无成熟的人类级通用智能系统可供部署。本文所说的”AGI系统部署”，指部署当前可用的通用大语言模型或多模态模型服务，并在其外层加上任务路由、工具调用、检索增强和安全护栏。部署的目标是让这套组合稳定运行、可以度量、能够回退。

这类系统的输出具有概率性。同一个问题，两次调用可能得到不同答案。因此，高确定性、强合规的任务不宜直接由生成式模型给出最终结论，例如医疗诊断结论、信贷审批、资金放款等场景。这些场景需要人工复核或规则系统兜底，模型只承担辅助角色。

读者需要具备容器化运行、Linux 基础命令、GPU 驱动安装、HTTP 接口调用和基础监控的经验。

二、适用场景与不适用场景

适用场景包括：

• 多任务推理服务：同一套模型服务同时承载文本理解、摘要生成、分类、代码辅助等任务，避免为每类任务单独部署模型。
• 内部能力平台：把模型能力封装成统一接口，供多个业务系统调用，并集中做鉴权、限流和审计。
• 研究与验证环境：在小规模 GPU 上验证模型在多个领域的表现，为后续扩容提供数据。

不适用或需要额外约束的场景包括：

• 对延迟要求低于 200 毫秒、同时并发很高的实时交互，单卡部署通常难以满足，需要先做专项压测。
• 对输出必须完全一致的批处理任务，例如结算对账，应使用确定性程序。
• 处理未脱敏的个人敏感数据，除非已完成数据分级和合规审批。

三、组件选型

下表列出推理服务需要的核心组件，并给出选型依据。数据库、消息队列等通用组件也会用到，但它们不是决定系统表现的关键。

组件	作用	选型依据
推理服务框架（如 vLLM、TGI、Triton）	加载权重，管理 KV 缓存，做连续批处理，提供流式输出接口	需要高吞吐时选支持连续批处理和分页 KV 缓存的框架；需要多种模型格式时选覆盖面广的框架
GPU 调度（NVIDIA 驱动加容器设备插件，或 Kubernetes 的 GPU 调度）	分配显存，隔离多个服务实例	单卡显存够用时直接绑定设备；多卡或多实例共享时使用调度器
模型仓库	保存权重文件、量化方式、哈希值与版本号	每次发布都要能追溯到确切的权重文件
网关	统一鉴权、限流、超时控制、请求日志	推理服务只监听内网地址，外部请求一律经网关进入
安全护栏	检查输入中的注入指令，过滤输出中的敏感信息	规则加小模型分类器的组合，兼顾速度和覆盖率
检索与工具调用	向向量库查询资料，或调用外部接口执行动作	只在模型需要外部知识或执行操作时启用，其余请求直接推理
监控与日志	采集首字延迟、每秒输出 token 数、显存占用、拦截率	推理框架通常自带指标接口，直接接入即可

四、资源规划

显存是最先耗尽的资源。估算时分两部分计算。

第一部分是权重。权重占用约等于”参数量乘以每参数字节数”。BF16 或 FP16 每参数占 2 字节，INT8 占 1 字节，INT4 约占 0.5 字节。例如 70 亿参数（7B）模型，BF16 权重约 14 GB；700 亿参数（70B）模型，BF16 约 140 GB，单卡 80 GB 时必须做张量并行或量化。

第二部分是 KV 缓存，它随并发数和上下文长度增长。粗略估算公式为：

KV 缓存字节数 ≈ 2 × 层数 × KV 头数 × 头维度 × 字节数 × 上下文长度 × 并发序列数

以上公式只用于规划。实际部署时，应以压测时观察到的显存峰值为准，并预留至少 20% 余量，用于激活值和显存碎片。

规划时还需要确认三件事：模型加载耗时（大模型加载可能需要数分钟，健康检查要留出时间）、峰值并发与平均并发的比例、单次请求的输入输出长度分布。

五、环境准备

准备阶段的检查项如下。每项都应有负责人，并留下对应产出物，便于回溯。

检查项	验收标准	负责人	产出物
GPU 驱动与容器运行时	nvidia-smi 显示全部卡，容器内可调用 GPU	运维	驱动版本、运行时版本记录
运行时版本统一	开发、测试、生产镜像的推理框架版本一致	开发	固定版本号的镜像摘要
模型权重校验	文件哈希与发布清单一致	开发	哈希校验记录
密钥管理	密钥通过挂载或密钥服务注入，代码与镜像中无明文	安全	密钥清单，不含密钥内容
网络策略	推理端口仅内网可达，外网只通过网关	运维	防火墙规则截图或配置文件
回滚包	上一版本的镜像、权重、配置可直接拉起	开发	版本清单

六、部署流程

部署顺序为：检查硬件，校验权重，启动推理服务，等待加载完成，接入缓存与检索组件，启动护栏和网关，健康检查通过后逐步放量。

6.1 硬件与权重检查

# 检查 GPU 状态和显存
nvidia-smi --query-gpu=index,name,memory.total,memory.used --format=csv
# 校验权重文件哈希，校验失败则停止部署
cd /data/models/agi-general-v1 && sha256sum -c model.sha256

6.2 启动推理服务

以下示例使用 vLLM 的 OpenAI 兼容服务，在两张卡上做张量并行。镜像版本需替换为团队已测试通过的固定版本号。

docker run -d --name agi-infer \
  --gpus '"device=0,1"' \
  --ipc=host \
  -p 127.0.0.1:8000:8000 \
  -v /data/models/agi-general-v1:/models/current:ro \
  vllm/vllm-openai:<固定版本号> \
  --model /models/current \
  --served-model-name agi-general \
  --tensor-parallel-size 2 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.85 \
  --max-num-seqs 64 \
  --max-num-batched-tokens 8192

端口绑定到 127.0.0.1，外部流量只能经过网关进入。如果网关和推理服务不在同一台机器上，应改为内网地址，并用防火墙