## 大模型本地推理部署实操:显存估算到性能压测
作者:很酷cat2026.11.16 11:53浏览量:0简介:本文按实际操作顺序讲解大模型本地推理服务的搭建,包括显存估算、vLLM与llama.cpp启动、固定测试集压测、常见报错排查和内网安全访问配置。照着步骤做,你可以在自有服务器上跑通服务,并用统一口径比较不同硬件的吞吐能力。
一、适合谁读,读完能做什么
本文面向需要在自有服务器上运行大参数语言模型的开发者和运维人员。按本文操作,你可以:
- 估算模型需要的显存,判断现有显卡是否够用。
- 用 vLLM 或 llama.cpp 启动一个兼容 OpenAI 接口的服务。
- 用固定测试集测出首词延迟(TTFT)、每输出令牌耗时(TPOT)和吞吐量,并用同一口径比较不同硬件。
- 按清单排查 OOM、CUDA 版本不匹配、模型加载失败、端口占用和鉴权失败等常见问题。
- 把服务安全地提供给内网使用,不直接暴露在公网或 0.0.0.0 上。
本文不覆盖模型训练、微调和多机集群调度。
二、先算显存
部署前先算显存,比只看模型文件大小更可靠。显存主要由三部分组成:模型权重、上下文缓存(KV Cache)和运行时临时空间。
1. 量化位宽与权重占用
不同精度下,权重占用的换算关系如下:
| 精度 | 每参数位数 | 权重占用(每十亿参数) |
|---|---|---|
| FP16 / BF16 | 16 bit | 约 2 GB |
| INT8 | 8 bit | 约 1 GB |
| 4 bit(AWQ、GPTQ、GGUF Q4_K_M 等) | 约 4 至 5 bit | 约 0.5 至 0.6 GB |
权重显存可以用下面的公式估算:
权重显存(GB)≈ 参数量(十亿)× 每参数位数 ÷ 8
以 32B(320 亿参数)模型为例,FP16 约需 64 GB,INT8 约需 32 GB,4 bit 量化约需 16 GB。4 bit 版本还要加上缩放因子和运行时开销,实际通常按 18 至 20 GB 预留。
量化格式和运行时有对应关系。AWQ 和 GPTQ 是 GPU 上常用的权重量化格式,vLLM 支持加载它们。GGUF 是 llama.cpp 使用的文件格式,Q4_K_M 等量化类型都打包在 GGUF 文件中。量化越激进,输出质量下降的风险越高。选定量化方案后,应该用自己的任务样本抽查回答质量。
2. 上下文缓存
上下文缓存保存每个令牌在各层的键和值向量。它的大小随上下文长度和并发数线性增长,计算公式如下:
每令牌字节数 = 2 × 层数 × KV 头数 × 头维度 × 每元素字节数
以 32 层、8 个 KV 头、头维度 128、FP16 缓存为例,每令牌占用 2 × 32 × 8 × 128 × 2 = 131072 字节,即 128 KiB。单个请求 32k 令牌时,缓存约为 4 GiB;128k 令牌时约为 16 GiB。
启用缓存量化后,每元素字节数变小,占用随之下降。但长文本的输出质量可能受影响,需要重新测试。
3. 总显存与预留空间
总显存需求可以拆成下面的形式:
总显存 ≈ 权重 + 单请求缓存 × 并发数 + 运行时临时空间 + 预留空间
这里的并发指同时处于生成中的请求数。运行时临时空间通常在 1 至 2 GB。预留空间可按总显存的 10% 估算,这是经验值,不是严格标准,应该用实测峰值校准。
示例:32B 模型使用 4 bit 权重,上下文 32k,并发 2,则权重约 18 GB,缓存约 8 GB,临时空间约 1.5 GB,合计约 27.5 GB。这个数字不含预留空间。按总显存的 10% 预留,总需求约为 27.5 ÷ 0.9,即 30 至 31 GB。单张 24 GB 显卡无法稳定运行,换成 48 GB 显卡后仍有余量。
服务启动并完成压测后,应该用 nvidia-smi 读取真实峰值,再回头校准这个估算:
nvidia-smi --query-gpu=memory.used --format=csv -l 1
让这条命令在压测期间持续运行,记录最高的 memory.used 值。
三、环境准备
1. 检查驱动、CUDA 与设备
nvidia-smi --query-gpu=name,driver_version,memory.total,memory.used --format=csvnvidia-smi | head -n 4python3 --version
第一条命令确认显卡被识别、显存总量符合预期。第二条命令输出的右上角 CUDA Version,是当前驱动支持的最高 CUDA 版本。运行时使用的 CUDA 版本不能高于它。驱动版本要与所选运行时要求的 CUDA 版本匹配,不要在生产环境直接使用未经测试的新驱动。
安装好运行时后,还要检查 PyTorch 实际链接的 CUDA 版本:
/opt/llm/venv/bin/python -c "import torch; print(torch.__version__, torch.version.cuda, torch.cuda.is_available())"
最后一项应为 True。如果返回 False,多数情况是 PyTorch 与驱动的 CUDA 版本不匹配。
2. 校验模型文件
cd /opt/llm/models/your-model-v1 && sha256sum -c SHA256SUMS
所有文件都显示 OK 才能继续。模型文件放在版本目录中,不要覆盖原文件。每个版本单独一个目录,回滚时只需切换启动命令中的路径。
3. 创建专用账户并收紧权限
sudo useradd --system --no-create-home --shell /usr/sbin/nologin llmsvcsudo chown -R root:llmsvc /opt/llm/modelssudo find /opt/llm/models -type d -exec chmod 750 {} \;sudo find /opt/llm/models -type f -exec chmod 640 {} \;sudo mkdir -p /opt/llm/logs && sudo chown llmsvc:llmsvc /opt/llm/logs
服务进程以 llmsvc 运行,只能读取模型目录,只能写入日志目录。可以用下面的命令验证权限是否生效:
sudo -u llmsvc ls /opt/llm/models/your-model-v1sudo -u llmsvc touch /opt/llm/models/test 2>&1 | head -n 1
第二条命令应该报 Permission denied。如果写入成功,说明权限设置有误。
4. 安装运行时
vLLM 安装示例如下:
python3 -m venv /opt/llm/venv/opt/llm/venv/bin/pip install vllm==<你已测试通过的版本号>/opt/llm/venv/bin/pip freeze > /opt/llm/requirements.lock
版本号要固定。vLLM 发布的安装包绑定特定的 PyTorch 与 CUDA 版本,安装前应到 vLLM 官方文档核对 CUDA、PyTorch 和 vLLM 的版本对应表。安装完成后保存 requirements.lock,以后重装或迁移机器时可以原样复现环境。升级运行时前,先在测试机上完成加载和压力测试。
llama.cpp 从源码编译,示例如下:
git clone https://github.com/ggml-org/llama.cpp /opt/llm/llama.cppcd /opt/llm/llama.cppgit checkout <你已测试通过的 tag>cmake -B build -DGGML_CUDA=ONcmake --build build --config Release -j
编译完成后,服务程序位于 /opt/llm/llama.cpp/build/bin/llama-server。同样应固定到已测试通过的 tag,避免新版本改动参数含义。
四、启动服务
方案 A:vLLM
/opt/llm/venv/bin/vllm serve /opt/llm/models/your-model-v1 \--host 127.0.0.1 --port 8000 \--served-model-name local-llm \--max-model-len 32768 \--max-num-seqs 4 \--gpu-memory-utilization 0.90
主要参数含义如下:
| 参数 | 含义 | 取值与调整建议 |
|---|---|---|
| 模型路径 | 要加载的模型目录 | 目录内需包含 config.json、分词器文件和权重文件 |
| —host | 监听地址 | 保持 127.0.0.1,内网访问通过反向代理实现(见第七节) |
| —port | 监听端口 | 默认 8000,同机已有服务占用时换一个端口 |
| —served-model-name | API 中的模型名 | 客户端请求体中的 model 字段必须与此值一致 |
| —max-model-len | 单个请求的上下文上限,输入加输出 | 按业务最长输入加输出设定。数值越大,单请求缓存占用越多 |
| —max-num-seqs | 同一批次中最多并行处理的请求数 | 直接决定并发上限。先从 4 开始,压测后再逐步调高 |
| —gpu-memory-utilization | vLLM 可占用的单卡显存比例 | 默认 0.90。显卡上还跑其他程序时调低。启动时报显存不足,先降低 —max-model-len 和 —max-num-seqs |
| —tensor-parallel-size | 把模型切分到几张卡上 | 单卡保持默认值 1。单机多卡时设为使用的显卡数量 |
| —dtype | 计算精度 | 通常自动识别。权重精度与显卡支持不符时才需要手动指定 |
服务启动后,用下面的命令验证模型名是否正确:
curl http://127.0.0.1:8000/v1/models
返回结果中应包含 local-llm。生产环境建议用 systemd 托管服务,并设置 User=llmsvc,让服务崩溃后自动重启。
方案 B:llama.cpp
/opt/llm/llama.cpp/build/bin/llama-server \-m /opt/llm/models/your-model-v1/model-Q4_K_M.gguf \--host 127.0.0.1 --port 8080 \--alias local-llm \-ngl 99 \-c 32768 \--parallel 4
主要参数含义如下:
| 参数 | 含义 | 取值与调整建议 |
|---|---|---|
| -m | GGUF 模型文件路径 | 分片模型只需指定第一个分片,程序会自动读取其余分片 |
| -ngl | 放到 GPU 上的层数 | 99 表示尽量全部放到 GPU。显存不足时逐步调小,剩余层在 CPU 上运行,速度会明显下降 |
| -c | 上下文总长度 | 与 —parallel 配合使用。每个并行槽位分到的长度为 -c ÷ —parallel。例如 -c 32768 配合 —parallel 4,每个请求最多约 8192 令牌 |
| —parallel | 并行槽位数 | 决定同时处理的请求数,作用与 vLLM 的 —max-num-seqs 相近 |
| —alias | API 中的模型名 | 对应 vLLM 的 —served-model-name |
| —host / —port | 监听地址与端口 | 与 vLLM 相同,保持本机监听 |
服务启动后,验证方式与 vLLM 相同,把端口换成 8080 即可。
vLLM 与 llama.cpp 的适用场景
| 维度 | vLLM | llama.cpp |
|---|---|---|
| 模型格式 | Hugging Face 格式、AWQ、GPTQ 等 | GGUF |
| 适合场景 | 多并发、高吞吐的在线服务 | 单机轻量部署、显存紧张、需要 CPU 与 GPU 混合推理 |
| 显存管理 | 按比例预留,自动分配 KV 缓存 | 通过 -ngl 和 -c 手动控制 |
| 依赖 | Python、PyTorch 与 CUDA 版本需严格匹配 | C++ 编译,依赖较少 |
如果主要目标是对外提供多并发接口,优先选 vLLM。如果显卡较小、只需要支持少量请求,llama.cpp 通常更容易跑通。
五、性能指标测试
只看单次请求的响应速度,无法判断服务的真实能力。压测要满足两个条件:测试集固定,口径统一。否则不同硬件之间的数字无法比较。
1. 构造固定测试集
准备 200 条测试提示词,保存为 JSONL 文件,并记录每条的输入令牌数。输入长度按三档分布,例如 512、2k、8k 各占约三分之一。每条请求的参数统一设置:
- temperature 设为 0,保证输出可复现。
- max_tokens 设为 256,并尽量让每条请求生成的令牌数接近。
- stream 设为 true,才能测出首词延迟。
测试集文件要纳入版本管理,换硬件时不能改动。
2. 指标口径
| 指标 | 定义 | 计算方式 |
|---|---|---|
| TTFT(首词延迟) | 从发出请求到收到第一个输出令牌的时间 | 第一个令牌到达时刻减去请求发出时刻,取 p50 和 p95 |
| TPOT(每输出令牌耗时) | 第一个令牌之后,平均每个令牌的生成时间 | (端到端耗时 − TTFT)÷ (输出令牌数 − 1) |
| 吞吐量 | 单位时间内生成的令牌总数 | 所有请求的输出令牌总数 ÷ 测试总耗时,单位 tokens/s |
vLLM 自带 vllm bench serve 命令,可以直接压测 OpenAI 兼容接口。不同版本的参数名可能不同,以 —help 输出为准。也可以自写脚本,调用 /v1/chat/completions 并开启流式输出,按上表口径计算。
3. 并发梯度与重复次数
并发按 1、2、4、8、16 逐级增加。并发数不能超过 —max-num-seqs 或 —parallel 设定的值,否则结果无意

登录后可评论,请前往 登录 或 注册