logo

紧凑工作站推理服务部署:步骤、验收与回滚

作者:快去debug2026.11.16 11:54浏览量:1

简介:面向在半高卡小机箱工作站上部署推理服务的技术团队,按顺序讲解环境校验、制品交付、启动配置、健康检查、验收清单和回滚步骤。读者照做即可判断服务是否真正可用,并在故障时快速定位问题、安全回退。

适用范围与边界

本文适用于机箱空间有限、加速卡为半高规格、整机功耗预算紧张的单机工作站。部署对象是模型推理服务,可以附带一个轻量图形或渲染任务。服务通过本机回环地址、内网地址或反向代理访问。读者如果想在半高卡小机箱工作站上部署AI推理服务,并同时完成验收和回滚,可以直接按本文顺序操作。

适合的场景有三类。第一,设计或仿真工位要在同一台机器上同时运行交互式图形和中小规模推理。第二,部门需要把模型服务放到数据所在的工作站,减少跨网传输。第三,演示或验收环境需要反复搭建,换机后仍能用同一套依赖和配置启动。

不适合的场景也有三类。超大规模在线集群、面向公网的多租户入口、依赖专有驱动接口的封闭方案,都不在本文范围内。如果需要多副本高可用,应使用备用工作站或可水平扩展的计算环境,单机无法承担这一目标。

本文不引用任何厂商的性能数字,也不假定某张卡独有的指令开关或未公开参数。信息不足时,只使用进程隔离、外置配置和健康检查这些通用做法。文中的路径、端口和服务名都是示例,团队可以替换为自己的命名,但替换后要保持前后一致。

前置准备

开始部署前,逐项核对以下七项。任何一项未通过,都不进入启动阶段。

  1. 形态与电力。确认机箱支持半高卡,挡板与供电接口匹配。电源余量需要覆盖加速卡、处理器和磁盘同时满载时的功耗,并保留散热风道。机箱过小时,问题通常先表现为降频和随机掉线,而不是明确的接口报错。可观测的指标包括加速卡温度、整机功耗和核心时钟频率。复现方法是用第6项中最长的输入样本循环请求十分钟,同时每5秒采样一次。如果负载稳定后时钟持续下降,且温度接近厂商标称的上限,说明散热或电源余量不足。系统日志中的电源或热事件也要一并检查,例如执行 journalctl -k | grep -i -E "thermal|power"。

  2. 账户与权限。准备一个用于安装运行时的管理员账户,以及一个只用于运行服务的低权限账户,示例中命名为 svc-infer。模型目录、日志目录和临时目录分别授权,互不包含。

  3. 软件基线。记录操作系统版本、加速设备驱动版本、运行时版本、推理框架版本,以及依赖锁定文件的哈希值。开发、测试和生产环境使用同一份锁定结果。

  4. 制品。准备应用包或镜像、模型权重、词表或前后处理文件、默认配置模板。每个文件都要生成 SHA-256 校验值,并写入清单文件,拷贝到目标机后重新计算并比对。

  5. 网络与证书。确定监听网卡、端口、是否只允许内网访问,以及加密由哪一层终结。本文使用两个端口:服务端口 8080 接收业务请求,健康检查端口 8081 只供运维使用。两个端口默认只监听回环地址。如果健康检查要被其他主机访问,才需要在防火墙中放行,并限制来源地址。

  6. 验证样本。准备一组最小回归样本,至少包括四类:正常输入、空输入、超长输入、接近超时上限的输入。样本分别保存为 normal.json、empty.json、long.json、near_timeout.json。没有样本,就无法区分”进程在运行”与”结果正确”。

  7. 容量估算。单卡显存需求按下面的式子估算:

显存需求 ≈ 模型参数占用 + 运行时固定开销 + 最大并发数 ×(单请求 KV cache + 单请求激活工作内存)× 碎片系数

各项的含义如下。模型参数占用是权重加载到显存后的实际大小,文件体积只能作为参考,量化格式会改变这个数值。运行时固定开销是服务空载启动后,驱动上下文和框架内存池带来的显存增量。KV cache 与上下文长度、层数、注意力头数和数值精度相关,生成越长,占用越多。激活工作内存是推理过程中的中间张量,峰值通常出现在最长输入上。碎片系数用于覆盖分配器产生的不可用空隙,可以先取 1.2 作为起点。最大并发数指同一时刻在设备上真正执行推理的请求数,由服务的排队机制限制,不由客户端连接数决定。

估算结果只是起点。必须在目标机上用最长样本压测,记录峰值显存,再回填校准。并发上限写入配置文件,不按大机箱的经验值硬编码。

磁盘增长按下式估算:日志磁盘 ≈ 每日请求数 × 单条日志字节数 × 保留天数 × 1.3。其中 1.3 是预留余量,用于覆盖当天未压缩的文件、索引文件和异常峰值。日志轮转和压缩后的体积通常小于原始值,但不能依赖这一点做容量规划。

如何初始化环境

安装与加速设备匹配的驱动和运行时。以 NVIDIA 环境为例,执行下面的命令查询设备:

  1. nvidia-smi

预期输出中,设备被枚举,显存总量和驱动版本与变更单一致。其他加速卡请使用对应厂商提供的管理工具查询,例如 AMD 环境使用 rocm-smi。查询失败时,先检查驱动与内核是否匹配。以 NVIDIA 为例,可以执行 lsmod | grep nvidia 和 dkms status,确认模块已经为当前内核编译并加载。在这一步通过之前,后续步骤都不应继续。

环境通过后,记录软件基线:

  1. cat /etc/os-release
  2. uname -r
  3. sha256sum requirements.lock

把输出保存到变更记录中,后续部署和回滚都以这份记录为准。

如何建立目录与账户

创建低权限服务账户和各类目录。服务账户不能登录,也不需要家目录:

  1. sudo useradd --system --no-create-home --shell /usr/sbin/nologin svc-infer
  2. sudo mkdir -p /opt/infer-svc /data/models /etc/infer-svc /var/log/infer-svc /var/tmp/infer-svc

按职责分配属主和权限。模型目录和配置目录由 root 持有,服务账户只能读取;日志目录和临时目录归服务账户所有:

  1. sudo chown root:svc-infer /data/models /etc/infer-svc
  2. sudo chmod 750 /data/models /etc/infer-svc
  3. sudo chown svc-infer:svc-infer /var/log/infer-svc /var/tmp/infer-svc
  4. sudo chmod 750 /var/log/infer-svc /var/tmp/infer-svc

仅靠 ls -l 无法确认服务账户的实际权限,因为 ACL 可能额外授予写权限。因此还要用下面三组命令验证。

查看 ACL 是否给服务账户开了额外权限:

  1. getfacl /data/models /etc/infer-svc

预期输出中,svc-infer 对模型目录和配置目录没有 w 权限。如果出现 user:svc-infer:rwx 之类的条目,需要删除对应的 ACL 条目后再继续。

以服务账户身份验证模型目录不可写:

  1. sudo -u svc-infer touch /data/models/.probe

预期输出为 Permission denied。如果命令成功,说明权限配置有误,必须先修正。

以服务账户身份验证日志目录可写,并清理探测文件:

  1. sudo -u svc-infer touch /var/log/infer-svc/.probe && echo "日志目录可写"
  2. sudo -u svc-infer rm -f /var/log/infer-svc/.probe

预期输出为”日志目录可写”。服务单元中的 UMask=0027 会让新建文件默认只对属组可读,这一设置在后面的 systemd 单元中配置。

如何交付应用与模型

从受控制品库复制已构建的应用和已审核的模型,不在目标机上现场编译或下载未知依赖。假设制品已经放在 /srv/staging/infer-svc-1.4.2/ 和 /srv/staging/models/v2026.11.01/ 中,清单文件分别为 manifest.sha256。

先在暂存目录中校验:

  1. cd /srv/staging/models/v2026.11.01
  2. sha256sum -c manifest.sha256

每一行都应输出 OK。只要出现 FAILED,立即停止,不进入后续步骤。校验通过后,复制到正式目录。模型放在带版本号的目录中,并通过符号链接 current 指向正在使用的版本:

  1. sudo cp -a /srv/staging/models/v2026.11.01 /data/models/
  2. sudo cp -a /srv/staging/infer-svc-1.4.2 /opt/infer-svc/
  3. sudo chown -R root:svc-infer /data/models/v2026.11.01
  4. sudo find /data/models/v2026.11.01 -type d -exec chmod 750 {} +
  5. sudo find /data/models/v2026.11.01 -type f -exec chmod 640 {} +
  6. sudo ln -sfn /data/models/v2026.11.01 /data/models/current

复制完成后,在目标机上重新校验哈希值。哈希值与清单一致,才能继续:

  1. cd /data/models/v2026.11.01
  2. sudo sha256sum -c manifest.sha256

如何写入运行参数并启动

运行参数写入环境文件,放在 /etc/infer-svc/service.env。文件内容如下:

  1. MODEL_DIR=/data/models/current
  2. SERVICE_ADDR=127.0.0.1:8080
  3. MGMT_ADDR=127.0.0.1:8081
  4. MAX_CONCURRENCY=2
  5. REQUEST_TIMEOUT_S=30
  6. MAX_INPUT_TOKENS=2048
  7. LOG_DIR=/var/log/infer-svc
  8. TMP_DIR=/var/tmp/infer-svc

MAX_CONCURRENCY 的值必须来自第7项的估算和实测结果,上面的 2 只是示例。文件中不放口令或密钥。如果服务需要凭据,应从密钥库在运行时注入,并把凭据文件的权限限制为 root 可读。

设置环境文件权限,让服务账户可以读取,但不能修改:

  1. sudo chown root:svc-infer /etc/infer-svc/service.env
  2. sudo chmod 640 /etc/infer-svc/service.env

创建 systemd 服务单元 /etc/systemd/system/infer-svc.service:

  1. [Unit]
  2. Description=Compact workstation inference service
  3. After=network-online.target
  4. [Service]
  5. User=svc-infer
  6. Group=svc-infer
  7. EnvironmentFile=/etc/infer-svc/service.env
  8. ExecStart=/opt/infer-svc/infer-svc-1.4.2/bin/infer-svc
  9. UMask=0027
  10. Restart=on-failure
  11. RestartSec=5
  12. TimeoutStartSec=120
  13. NoNewPrivileges=yes
  14. ProtectSystem=strict
  15. ReadWritePaths=/var/log/infer-svc /var/tmp/infer-svc
  16. [Install]
  17. WantedBy=multi-user.target

ProtectSystem=strict 会把系统目录设为只读,服务只能写入日志目录和临时目录。ExecStart 中的路径需要替换为实际的可执行文件位置。

加载单元并启动服务:

  1. sudo systemctl daemon-reload
  2. sudo systemctl start infer-svc
  3. sudo systemctl status infer-svc --no-pager

预期输出中,状态为 active (running)。如果启动超过 120 秒仍未就绪,systemd 会判定失败,此时转到”验收与排查”部分。

如何验证端口与健康检查

服务启动后,先确认端口监听地址:

  1. ss -lntp | grep -E ':(8080|8081)\s'

预期输出中,两个端口都显示为 127.0.0.1 监听,并且进程属于 infer-svc。如果出现 0.0.0.0 或 *,说明监听地址配置有误,需要修正环境文件后重启。

检查存活状态。这一接口只说明进程还在运行:

  1. curl -sS -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8081/healthz

预期返回 200。

检查就绪状态。这一接口说明模型已加载完成,显存和运行时也正常:

  1. curl -sS http://127.0.0.1:8081/readyz

预期返回中包含 "ready": true。模型较大时,就绪可能需要数十秒。如果超过 120 秒仍为 false,转到排查部分。存活正常但就绪失败,通常是模型路径、校验或驱动问题,不是进程问题。

验收与排查

验收清单全部通过,服务才算可用。每一项都要留存输出,作为变更记录。

  1. 设备信息与变更单一致,驱动版本和显存总量相符。
  2. 模型目录和应用目录的哈希校验全部为 OK。
  3. 服务账户对模型目录写入失败,对日志目录写入成功。
  4. 两个端口只监听预期地址。
  5. readyz 在 120 秒内返回 "ready": true。
  6. 四类样本回归全部符合预期。正常输入返回 200 并包含结果字段。空输入返回 400。超长输入返回 413,并给出可读的错误信息。接近超时上限的输入在 REQUEST_TIMEOUT_S 之内返回结果。

回归样本的调用方式如下。接口路径以应用文档为准,示例中使用 /v1/infer:

  1. curl -sS -X POST http://127.0.0.1:8080/v1/infer \
  2. -H "Content-Type: application/json" \
  3. --data-binary @samples/normal.json \
  4. -w "\n%{http_code}\n"
  1. 连续运行 30 分钟,加速卡温度和核心时钟没有持续下降,日志中没有显存不足的记录,服务重启次数没有增加:
  1. systemctl show -p NRestarts infer-svc
  1. 压测期间峰值显存不超过总量的 85%。这个阈值是建议的起点,团队可以根据实际风险调整,但需要在变更单中写明。

验收不通过时,按下表排查。

现象 先执行的检查 常见原因
启动后立即退出 journalctl -u infer-svc -n 200 --no-pager 环境变量缺失、模型路径错误、目录权限不足
运行中显存不足 nvidia-smi --query-gpu=memory.used,memory.total --format=csv 并发上限过高,需要回到前置准备第7项重新计算
请求超时或延迟抖动 nvidia-smi --query-gpu=temperature.gpu,power.draw,clocks.sm,clocks_throttle_reasons.active --format=csv -l 5 散热不足、电源余量不够、频率被降低
readyz 长时间为 false curl -sS http://127.0.0.1:8081/readyz 与应用日志 模型目录错误、哈希不一致、驱动版本与基线不符
端口监听地址不对 ss -lntp 环境文件中的地址写错
磁盘空间快速下降 df -h /var/log,du -sh /var/log/infer-svc 日志轮转未生效,或保留天数超出估算

日志轮转通过 /etc/logrotate.d/infer-svc 配置:

  1. /var/log/infer-svc/*.log {
  2. daily
  3. rotate 14
  4. compress
  5. delaycompress
  6. missingok
  7. notifempty
  8. copytruncate
  9. create 0640 svc-infer svc-infer
  10. }

copytruncate 会在复制后清空原文件,应用不需要重新打开日志。代价是轮转瞬间可能丢失少量写入。如果日志量大或不能容忍丢失,应改为让应用在收到信号后重新打开文件。

回滚与运维

出现以下任一情况,应立即回滚,并通知值班人员:

  1. 健康检查连续 3 分钟失败。
  2. 验收清单中任一项不通过,且 30 分钟内无法修复。
  3. 5 分钟内错误率超过团队设定的阈值。建议初始值为 5%。
  4. 日志中出现显存不足,或加速卡被重置的记录。
  5. 日志磁盘剩余空间低于 10%,且无法立即清理。

回滚步骤如下。每一步都要确认目标版本,不能凭记忆操作。

第一步,确认当前版本和上一个稳定版本。上一版本的目录仍然保留在 /data/models/ 下:

  1. ls -l /data/models/
  2. readlink /data/models/current

假设上一稳定版本是 v2026.10.15,后续命令均以它为例。

第二步,备份当前配置,留作事故分析:

  1. sudo cp -a /etc/infer-svc/service.env /etc/infer-svc/service.env.$(date +%Y%m%d%H%M%S).bak

第三步,如果有业务流量经过反向代理,先把本节点从代理的后端列表中摘除。然后停止服务:

  1. sudo systemctl stop infer-svc

第四步,切换符号链接。这一操作只修改链接指向,不删除任何模型文件:

  1. sudo ln -sfn /data/models/v2026.10.15 /data/models/current

第五步,如果新版本修改过配置,从备份或变更记录中恢复旧版本的环境文件。

第六步,启动服务,并依次执行端口检查、健康检查和四类样本回归。全部通过后,再把节点重新加入代理。

第七步,保存事故现场。把 journalctl -u infer-svc 的输出、nvidia-smi 的输出和相关日志复制到事故目录,例如 /var/log/infer-svc/incident-20261116/。保存后再清理或改动任何文件。

回滚不会删除新版本的模型目录,也不会清空日志目录。失败的版本保留下来,供后续分析使用。禁止在回滚过程中对模型目录执行 rm -rf。如果确实需要清理旧版本,应先与负责人确认,并保留最近三个稳定版本。

恢复服务时,按以下顺序进行:先确认端口和健康检查正常,再恢复业务流量,最后恢复依赖该服务的定时任务。这样可以避免定时任务在服务未就绪时提交请求,导致错误数据堆积。

日常运维中,建议每周检查三项内容:服务重启次数、日志磁盘占用、加速卡温度和降频记录。驱动、运行时或模型版本有任何变更,都要重新执行本文的完整验收。

发表评论

活动