logo

大模型微调服务部署运维全流程实践指南

作者:渣渣辉2026.11.18 12:09浏览量:1

简介:本文面向开发者、运维与架构师,围绕环境准备、显存估算、数据构建、训练启动、推理上线、验证回滚与监控优化,给出可执行流程、命令示例与验收标准,帮助团队降低资源浪费与上线风险,安全完成微调服务落地。

大模型微调服务部署运维全流程实践指南

一、部署目标:从实验脚本走向可上线服务

在讨论大模型微调时,常见回答往往停留在概念层:全参数微调效果更好但资源消耗高,指令微调更贴近业务指令,领域继续预训练可以增强行业知识。这些内容本身没有错,但如果继续追问:显存怎么估算、指令数据怎么校验、训练中断如何恢复、推理服务如何限流回滚、上线后如何监控,就暴露出工程化能力的不足。

本文关注的是一次完整的大模型微调服务部署实践,既包括训练侧任务,也包括推理侧服务。训练侧包括全参数微调、指令微调、领域继续预训练、轻量适配微调;推理侧则把微调后的模型封装成可通过网络调用的服务。最终目标不是“把模型跑起来”,而是让微调服务具备资源可控、数据可验、任务可恢复、服务可限流、问题可排查、版本可回滚的完整能力。


二、适用场景与不适用场景

大模型微调并非所有场景的必选项。是否值得微调,取决于业务对领域知识、输出格式、风格一致性和任务稳定性的要求。

常见适用场景包括:

  • 企业内部知识助手:通用模型对公司制度、产品手册、流程规范理解不足时,可通过指令微调或领域继续预训练提升准确性。
  • 测试与研发辅助:缺陷分析、日志解读、性能瓶颈定位、测试用例生成等任务需要稳定输出特定模板。
  • 电商客服与商品理解:商品描述、售后规则、订单状态、物流解释等数据具有强行业特征。
  • 代码与运维辅助:模型需要理解内部代码规范、故障处理手册、发布流程和告警规则。
  • 私有化与数据合规场景:数据不能进入外部服务,需要在自有环境或私有网络内完成训练、部署和调用。

相反,如果业务只是简单问答、通用写作,或者已有通用模型通过提示词工程即可满足要求,则不一定需要微调。微调不是数据越多越好,也不是训练完就必须上线,而是需要评估收益、成本和稳定性。


三、关键模块与前置检查清单

一次完整的大模型微调服务部署通常涉及计算、存储、网络、权限、日志和监控等模块。

1. 核心模块

  • 计算资源:训练节点、推理节点、GPU/NPU 加速卡、CPU 与内存。
  • 存储资源:基础模型、训练数据、验证数据、指令数据、领域语料、检查点、日志。
  • 网络资源:训练侧内部网络、推理侧负载均衡、域名、证书、访问控制。
  • 权限系统:数据权限、训练任务权限、模型发布权限、日志查看权限、密钥管理权限。
  • 监控体系:训练任务状态、显存占用、损失曲线、请求成功率、时延、错误率。
  • 安全审计:调用凭据、访问白名单、日志脱敏、变更审计、模型与配置备份。

2. 前置检查表

部署前建议填写如下表格,避免任务跑到一半失败:

检查项 示例内容 是否通过
微调类型 指令微调 / 领域继续预训练 / 全参数微调 待确认
计算资源 4 台 8 卡节点,单卡 80GB 待确认
存储路径 /models、/data、/logs 待确认
数据校验 训练集、验证集格式与完整性检查 待确认
监控接入 指标、日志、告警已接入 待确认
回滚条件 保留上一稳定模型与配置 待确认
权限与密钥 最小权限、密钥不入库 待确认

如果以上项目未确认,后续很可能出现路径错误、权限不足、镜像异常、显存不足、数据格式错误等问题。


四、资源与显存估算:不能只凭经验猜测

全参数微调的显存需求不能简单套用推理场景。训练时不仅包含模型参数,还包含梯度、优化器状态、激活值、临时缓存、通信缓冲区等。

1. 全参数微调显存粗算

在混合精度训练场景下,可以先使用如下粗略口径进行启动前估算:

全参数微调所需显存可先按“每十亿参数约需 12~20GB 起步”估算,该数值通常包含模型权重、梯度、优化器状态与基础框架开销;激活值、长序列、批量大小、并行策略、通信缓冲和框架额外开销需要另行叠加。

以 700 亿参数模型为例:

  • 70B 参数按每十亿参数 12GB 估算:约 840GB。
  • 按每十亿参数 20GB 估算:约 1400GB。
  • 因此 70B 全参数微调的显存起步需求大致为 840GB~1400GB。
  • 如果激活值、长序列、较大批量、ZeRO 通信缓冲等因素叠加,实际峰值可能更高。
  • 若单机 8 卡,每卡 80GB,总显存为 640GB,通常不足以支撑 70B 全参数微调。
  • 保守情况下,70B 全参数微调建议至少 2~4 台 8 卡节点,并结合实测资源占用调整。

这只是一个工程粗算,不能替代真实框架实测。不同框架、优化器、并行策略、梯度累积、检查点格式都会影响显存。

2. 可执行的显存估算伪代码

可以在部署前使用简单脚本辅助判断节点规模:

  1. import math
  2. param_count_b = 70 # 模型参数规模,单位:十亿
  3. lower_per_b = 12 # 每十亿参数显存下限,单位 GB
  4. upper_per_b = 20 # 每十亿参数显存上限,单位 GB
  5. activation_factor = 1.3 # 激活、缓存、通信等经验系数
  6. cards_per_node = 8
  7. card_memory_gb = 80
  8. safe_utilization = 0.85 # 保留安全余量
  9. lower_total = param_count_b * lower_per_b * activation_factor
  10. upper_total = param_count_b * upper_per_b * activation_factor
  11. available_per_node = cards_per_node * card_memory_gb * safe_utilization
  12. min_nodes = math.ceil(upper_total / available_per_node)
  13. print(f"估算显存范围:{lower_total:.0f}GB ~ {upper_total:.0f}GB")
  14. print(f"建议最少节点数:{min_nodes}")

3. 实测方法

更稳妥的方式是先用小模型跑通流程,再按相同配置逐步放大:

  1. 先用 1B 或 7B 模型,在相同数据、相同序列长度、相同批量下运行 50~100 step。
  2. 观察训练脚本输出的显存峰值、CPU/GPU 利用率、数据加载耗时和通信状态。
  3. 根据实测峰值外推目标模型资源需求。
  4. 正式训练前额外预留 20%~30% 显存余量。
  5. 如果仍出现 OOM,优先降低批量、缩短序列长度、增加节点或减少单卡负载。

五、数据准备与校验:微调成败的关键

微调效果高度依赖数据质量。对指令微调来说,常见数据格式包括指令、输入和输出三部分。

示例:

  1. {"instruction": "请分析该缺陷可能原因", "input": "接口返回 500,日志显示数据库连接超时", "output": "可能是连接池耗尽、数据库慢查询或网络抖动,建议检查连接数、慢查询日志和网络延迟。"}

数据准备不能只看数量,还要看覆盖度、一致性和可验证性。

1. 数据校验项

  • 是否所有样本都包含必填字段。
  • 是否存在空输出或无效输出。
  • 是否存在大量重复样本。
  • 是否混入敏感信息、密钥、个人信息。
  • 输出格式是否符合业务规范。
  • 是否覆盖常见场景和边界场景。
  • 是否划分训练集和验证集。
  • 是否避免使用验证集训练。

2. 简单校验命令示例

假设数据为 JSONL 格式,可以使用如下思路进行检查:

  1. python data_check.py \
  2. --train /data/train/sft.jsonl \
  3. --validation /data/validation/sft.jsonl \
  4. --required-fields instruction,input,output \
  5. --max-sequence-length 2048 \
  6. --report /logs/data_check/report.json

如果数据规模较小,也可以用基础命令检查空文件或异常行:

  1. find /data/train -type f -size 0
  2. wc -l /data/train/sft.jsonl
  3. python -m json.tool < /data/train/sample.json

对于领域继续预训练,还需要额外检查语料是否贴近真实业务,避免单一模板导致模型输出僵硬。


六、部署流程:从环境初始化到推理服务上线

下面给出一套通用流程,不绑定具体云厂商,可用于云上环境、私有环境或混合环境。

第一步:初始化部署环境

建议固定目录结构:

  1. /models/
  2. /base/
  3. /finetuned/
  4. /checkpoints/
  5. /data/
  6. /train/
  7. /validation/
  8. /instructions/
  9. /corpus/
  10. /logs/
  11. /training/
  12. /serving/
  13. /eval/

环境初始化时需要确认:

  • 计算节点是否可用。
  • GPU/NPU 驱动是否正常。
  • 存储是否可读写。
  • 训练镜像或依赖是否完整。
  • 日志与监控是否接入。
  • 推理端口、域名、证书和负载均衡是否准备。
  • 训练任务是否具备失败恢复条件。

第二步:准备依赖与运行环境

示例依赖版本仅用于说明,实际版本需结合模型和框架确认:

  1. pip install \
  2. torch==2.2.2 \
  3. transformers==4.40.1 \
  4. datasets==2.19.1 \
  5. peft==0.10.0 \
  6. deepspeed==0.14.0 \
  7. vllm==0.4.2

建议设置常见环境变量:

  1. export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
  2. export TOKENIZERS_PARALLELISM=false
  3. export NCCL_DEBUG=INFO
  4. export HF_HOME=/models/cache

如果模型文件已经本地化,可避免运行时重复下载:

  1. export HF_HUB_OFFLINE=1

第三步:上传模型与数据并检查完整性

上传完成后必须检查:

  • 文件数量是否符合预期。
  • 是否存在零字节文件。
  • 模型权重是否完整。
  • 训练数据是否能被正确解析。
  • 是否存在重复数据或异常字段。
  • 大文件传输是否完成校验。

示例:

  1. find /data/train -type f -size 0
  2. ls -lh /models/base
  3. python -m json.tool < /data/train/sft.jsonl > /dev/null

第四步:启动训练任务

下面给出最小可运行示例,不同框架和模型需要按实际参数调整。

示例一:单机多卡指令微调

  1. torchrun \
  2. --nnodes=1 \
  3. --nproc_per_node=8 \
  4. train_sft.py \
  5. --model_path /models/base/qwen2.5-7b \
  6. --train_file /data/train/sft.jsonl \
  7. --validation_file /data/validation/sft.jsonl \
  8. --output_dir /models/finetuned/sft-20260622 \
  9. --batch_size 2 \
  10. --gradient_accumulation_steps 8 \
  11. --sequence_length 2048 \
  12. --learning_rate 1e-5 \
  13. --num_train_epochs 3 \
  14. --checkpoint_interval 2h \
  15. --resume_from_checkpoint auto

该示例要求 train_sft.py 支持对应参数。数据格式通常为每行一个 JSON 对象,包含 instruction、input、output。

示例二:使用 DeepSpeed 启动全参数微调

  1. deepspeed \
  2. --num_gpus=8 \
  3. train_full.py \
  4. --model_path /models/base/llama-3.1-70b \
  5. --train_file /data/corpus/train.jsonl \
  6. --output_dir /models/finetuned/full-70b \
  7. --batch_size 1 \
  8. --gradient_accumulation_steps 16 \
  9. --sequence_length 4096 \
  10. --learning_rate 2e-6 \
  11. --num_train_epochs 1 \
  12. --checkpoint_interval 2h \
  13. --deepspeed ds_config.json \
  14. --resume_from_checkpoint auto

ds_config.json 可包含 ZeRO、混合精度、梯度累积等配置,示例:

  1. {
  2. "bf16": {
  3. "enabled": true
  4. },
  5. "gradient_accumulation_steps": 16,
  6. "train_micro_batch_size_per_gpu": 1,
  7. "zero_optimization": {
  8. "stage": 3,
  9. "offload_optimizer": {
  10. "device": "cpu",
  11. "pin_memory": true
  12. }
  13. }
  14. }

恢复训练时,可以继续使用相同命令,并指定检查点路径:

  1. deepspeed \
  2. --num_gpus=8 \
  3. train_full.py \
  4. --model_path /models/base/llama-3.1-70b \
  5. --train_file /data/corpus/train.jsonl \
  6. --output_dir /models/finetuned/full-70b \
  7. --batch_size 1 \
  8. --gradient_accumulation_steps 16 \
  9. --sequence_length 4096 \
  10. --learning_rate 2e-6 \
  11. --num_train_epochs 1 \
  12. --checkpoint_interval 2h \
  13. --deepspeed ds_config.json \
  14. --resume_from_checkpoint /models/checkpoints/global_step1000

第五步:训练过程观察

训练启动后不能只等待结果,应重点观察:

  • 任务是否成功创建。
  • 数据是否完整加载。
  • 模型是否成功加载。
  • 损失是否开始下降。
  • 显存是否稳定。
  • 是否频繁出现通信超时。
  • 检查点是否按预期保存。
  • 是否出现异常堆栈。

如果训练启动后很快出现显存不足,通常说明资源估算不足或批量、序列长度配置过高。

第六步:评估与导出

训练完成不等于可以上线。评估至少包括:

  • 自动评估:格式合规率、字段完整率、准确率、相似度。
  • 规则评估:敏感词、空回答、超长文本、异常结构。
  • 人工评估:业务合理性、表达自然度、专家习惯匹配度。

示例评估命令:

  1. python eval.py \
  2. --model /models/finetuned/sft-20260622 \
  3. --validation /data/validation/sft.jsonl \
  4. --report /logs/eval/report.json

第七步:部署推理服务

推理服务可以用 vLLM 等推理框架启动。以下示例仅用于说明思路,实际参数以所安装版本为准:

  1. export MODEL_API_KEY="replace-with-secret"
  2. python -m vllm.entrypoints.openai.api_server \
  3. --model /models/finetuned/sft-20260622 \
  4. --host 0.0.0.0 \
  5. --port 8080 \
  6. --served-model-name finetuned-assistant \
  7. --tensor-parallel-size 2 \
  8. --max-model-len 8192 \
  9. --gpu-memory-utilization 0.90 \
  10. --api-key "$MODEL_API_KEY"

如果推理服务部署在网关或反向代理之后,还应在网关层配置限流:

  1. max_concurrency: 20
  2. request_timeout_seconds: 30
  3. max_output_tokens: 512
  4. access_control: enabled

第八步:开放访问与分层验证

上线后建议分层验证:

  1. 内部地址验证。
  2. 后端服务调用验证。
  3. 负载均衡或对外入口验证。

基础验证命令示例:

  1. curl -s http://127.0.0.1:8080/v1/models
  1. curl -s http://127.0.0.1:8080/v1/chat/completions \
  2. -H "Content-Type: application/json" \
  3. -H "Authorization: Bearer $MODEL_API_KEY" \
  4. -d '{
  5. "model": "finetuned-assistant",
  6. "messages": [
  7. {"role": "user", "content": "请分析接口超时可能原因"}
  8. ],
  9. "max_tokens": 512
  10. }'

七、配置示例与实现映射

下面给出一份抽象配置示例。该配置不直接对应任何平台,只用于说明部署要素。

  1. deployment_profile:
  2. stage: production
  3. training_type: instruction_finetuning
  4. compute:
  5. training_nodes: 4
  6. accelerators_per_node: 8
  7. serving_replicas: 2
  8. storage:
  9. base_model_path: /models/base
  10. train_data_path: /data/train
  11. validation_data_path: /data/validation
  12. checkpoint_path: /models/checkpoints
  13. log_path: /logs/training
  14. training:
  15. batch_size: 4
  16. sequence_length: 2048
  17. learning_rate: 1e-5
  18. epochs: 3
  19. checkpoint_interval: 2h
  20. mixed_precision: enabled
  21. resume_from_checkpoint: enabled
  22. serving:
  23. port: 8080
  24. max_output_tokens: 512
  25. request_timeout_seconds: 30
  26. max_concurrency: 20
  27. access_control: enabled
  28. log_level: info
  29. observability:
  30. metrics_enabled: true
  31. alerting_enabled: true
  32. slow_request_threshold_seconds: 5

该抽象配置需要转换为真实启动参数:

抽象配置项 可能映射的实现 转换说明
training_nodes torchrun —nnodes / deepspeed —num_gpus 节点数与单节点卡数共同决定总计算资源
batch_size 训练脚本 —batch_size 需结合梯度累积理解真实有效批量
sequence_length 训练脚本 —sequence_length 同时影响显存、吞吐和推理上下文
learning_rate 训练脚本 —learning_rate 全参数微调通常低于指令微调或需单独调优
checkpoint_interval 训练脚本或框架配置 决定检查点保存频率
resume_from_checkpoint 训练脚本参数 必须确认脚本支持断点恢复
port vLLM 或推理服务 —port 推理服务监听端口
max_output_tokens 推理服务参数或业务参数 控制单次输出长度
max_concurrency 网关、推理服务或队列参数 防止瞬时流量压垮服务
access_control API Key、白名单、鉴权网关 不应无鉴权开放
metrics_enabled Prometheus、日志采集或平台监控 必须接入请求成功率、时延和错误率

八、上线验证:需要量化验收标准

上线验证不能只看接口是否返回内容。大模型服务至少要从可用性、输出质量、性能和稳定性四个方面验收。

1. 服务可用性验收

验收标准建议:

  • 健康检查通过率:100%。
  • 服务端口可访问率:100%。
  • 正常请求返回结构稳定率:100%。
  • 非法请求应返回合理错误码,而不是服务异常。

2. 输出质量验收

建议准备三类样本:

  1. 标准业务样本:验证常见业务问题。
  2. 边界样本:验证不完整输入、异常输入、模糊问题。
  3. 通用能力样本:验证基础推理、表达和常识能力。

量化建议:

  • 标准业务样本通过率 ≥ 95%。
  • 边界样本稳定处理率 ≥ 90%。
  • 人工抽检样本量 ≥ 50 条。
  • 通用能力回归集 ≥ 100 题,通过率 ≥ 85%。
  • 输出格式合规率 ≥ 98%。
  • 敏感信息泄露率必须为 0。

3. 性能验收

性能验收需要区分短输入、长输入、短输出、长输出。

建议指标:

  • 短输出请求成功率 ≥ 99.5%。
  • 短输出 P95 时延 ≤ 2 秒。
  • 长输出请求成功率 ≥ 99%。
  • 长输出 P95 时延 ≤ 30 秒,具体按业务设定。
  • 并发 20 时无明显排队雪崩。
  • 单实例 GPU 利用率建议低于 85%,避免长期满载。
  • 最大输出长度设置必须与业务场景匹配,避免单个请求占用过多资源。

4. 稳定性验收

上线前建议进行持续观察:

  • 连续 30 分钟压测无服务重启。
  • 错误日志数量不持续增长。
  • 显存和内存无持续泄漏。
  • 请求成功率保持稳定。
  • 告警可以正常触发。
  • 回滚流程已完成演练。

九、常见问题排查:先分层,再定位

建议采用决策树式排查:

  1. 先判断是训练侧还是推理侧。
  2. 再判断是资源、数据、配置还是网络问题。
  3. 最后结合日志、指标和命令复现验证。

1. 训练显存不足

可能原因:

  • 模型规模过大。
  • 批量过大。
  • 序列过长。
  • 并行策略不合理。
  • 激活值或优化器状态占用过高。
  • 多个任务同时占用资源。

排查顺序:

  1. 降低批量。
  2. 缩短序列长度。
  3. 增加节点或加速卡。
  4. 检查是否有其他任务占用 GPU。
  5. 查看显存峰值发生在启动阶段还是训练阶段。
  6. 使用小模型验证流程。

2. 训练速度异常缓慢

可能原因:

  • 数据读取成为瓶颈。
  • 存储带宽不足。
  • 网络通信延迟高。
  • 日志级别过高。
  • 检查点保存过频。
  • 数据预处理过重。

排查顺序:

  1. 观察数据加载耗时。
  2. 检查存储读取吞吐。
  3. 检查节点间通信状态。
  4. 降低日志输出频率。
  5. 对比小批量任务。
  6. 判断是否计算瓶颈还是存储瓶颈。

3. 微调后输出模式单一

可能原因:

  • 指令数据风格单一。
  • 输出格式模板化严重。
  • 数据重复率高。
  • 训练轮次过多。
  • 缺少通用能力保护。

解决方法:

  • 增加多样化任务样本。
  • 控制训练轮次。
  • 降低学习率。
  • 混入通用数据。
  • 训练后做轻量指令微调。
  • 建立通用能力回归测试集。

4. 推理服务请求超时

可能原因:

  • 并发超过实例处理能力。
  • 输出长度过大。
  • 模型加载资源不足。
  • 网络链路异常。
  • 超时阈值设置不合理。

排查顺序:

  1. 查看请求耗时分布。
  2. 区分排队超时还是推理超时。
  3. 增加推理实例。
  4. 调整并发限制。
  5. 限制最大输出长度。
  6. 检查负载均衡和网络状态。

十、运维优化、安全与回滚

部署完成只是开始,长期稳定运行更依赖运维体系。

1. 监控指标

建议至少监控:

  • 训练任务状态。
  • 推理服务可用性。
  • 请求成功率。
  • 平均响应时延。
  • P95/P99 时延。
  • 并发数量。
  • GPU/CPU/内存使用率。
  • 错误日志数量。
  • 输出异常率。
  • 告警触发次数。

告警不能只关注“服务是否宕机”,还要关注“服务是否逐渐变慢”和“输出质量是否下降”。

2. 日志管理

训练日志应记录:

  • 任务启动时间。
  • 数据加载情况。
  • 损失变化。
  • 检查点保存情况。
  • 异常堆栈。
  • 资源占用。

推理日志应记录:

  • 请求标识。
  • 输入长度。
  • 输出长度。
  • 响应时间。
  • 错误类型。
  • 调用来源。
  • 限流与鉴权结果。

日志必须设置保留周期,并对敏感信息脱敏,避免日志成为泄露入口。

3. 安全与权限硬性检查项

模型服务上线后,应避免无鉴权开放。建议执行以下硬性检查:

  • 为调用方分配独立访问凭据。
  • 敏感接口启用白名单。
  • 模型文件、训练数据和日志设置最小权限。
  • 密钥不写入代码库、配置库或日志。
  • 密钥通过环境变量、密钥管理系统或安全凭据平台注入。
  • 推理日志中的手机号、身份证、Token、密码等敏感字段必须脱敏。
  • 定期开展权限审计,清理离职或闲置账号。
  • 所有模型变更、配置变更、发布和回滚必须记录审计日志。

4. 删除或覆盖模型与配置前的备份要求

在删除、覆盖模型、检查点或配置前,必须执行:

  1. 备份当前模型和配置文件。
  2. 备份训练数据版本和配置版本。
  3. 校验备份文件完整性,例如计算摘要值。
  4. 记录变更申请人、变更时间、变更原因和审批人。
  5. 禁止未备份直接覆盖生产模型。
  6. 禁止未审批直接删除历史稳定版本。

5. 版本管理与回滚

每次上线应保留:

  • 微调前基础模型版本。
  • 本次微调版本。
  • 训练数据版本。
  • 配置文件版本。
  • 推理服务版本。
  • 验证报告。
  • 监控基线。

回滚不只是替换模型文件,还要确认配置、数据、访问策略和推理参数一致。

建议回滚演练检查项:

  • 是否能在约定时间内恢复上一稳定版本。
  • 是否能快速恢复服务端口和负载均衡。
  • 是否能恢复鉴权和限流策略。
  • 是否能验证回滚后模型可用性。
  • 是否能保留故障现场日志。

6. 灰度发布

对于影响面较大的模型服务,不建议一次性全量替换。可采用:

  1. 小流量验证。
  2. 观察错误率、时延和输出质量。
  3. 对比新旧版本表现。
  4. 逐步扩大流量。
  5. 全量发布或回滚。

灰度期间应重点观察:

  • 请求成功率。
  • P95/P99 时延。
  • 业务抽检结果。
  • 通用能力回归结果。
  • 用户反馈或人工投诉。
  • 资源占用变化。

7. 成本控制

大模型微调部署资源成本较高,可从以下方面优化:

  • 根据业务量选择合适资源规格。
  • 对闲置训练资源及时回收。
  • 推理服务设置自动扩缩容策略。
  • 控制日志存储周期。
  • 定期清理无效检查点。
  • 评估是否需要常驻实例。
  • 将批量训练任务安排到低峰期。
  • 对低优先级请求设置降级或排队策略。

十一、上线检查清单

在正式发布前,建议按以下清单逐项确认:

  • 资源清单:节点数、卡数、显存、存储、网络带宽已确认。
  • 显存估算:已完成粗算和实测,并保留余量。
  • 数据校验:训练集、验证集、指令数据格式和完整性检查通过。
  • 权限检查:最小权限、密钥管理、日志脱敏已落实。
  • 训练任务:支持检查点保存和断点恢复。
  • 评估结果:自动评估、规则评估、人工评估达到阈值。
  • 推理服务:健康检查、鉴权、限流、超时、日志已配置。
  • 上线验证:请求成功率、P95 时延、人工抽检、通用回归通过。
  • 监控告警:指标、日志、告警已接入并演练。
  • 版本回滚:上一稳定版本、配置、数据、访问策略可恢复。
  • 安全审计:变更记录、审批记录、密钥保护、敏感日志脱敏已确认。
  • 成本控制:资源规格、扩缩容、日志保留和检查点清理策略已明确。

只有完成这些检查,微调服务才算真正具备上线条件。大模型微调不是单纯训练一个模型,而是一项覆盖资源规划、数据工程、训练执行、效果评估、推理服务、监控安全和版本运维的系统工程。能够围绕显存怎么估算、数据怎么校验、训练怎么恢复、服务怎么限流、上线怎么验收、故障怎么排查、版本怎么回滚形成完整闭环,才是工程实践中更可靠的做法。

发表评论

活动