logo

大模型RAG应用部署实战:从准备到上线运维

作者:沙与沫2026.11.18 11:26浏览量:1

简介:面试里问得最多的往往不是模型内部原理,而是RAG链路、向量检索、提示词、Agent编排、Function Calling与幻觉治理——这些恰好都属于"部署什么、怎么部署、上线后怎么运维"的工程问题。本文以RAG大模型应用为部署对象,系统讲解从环境准备、资源规划、部署上线到验证运维的完整流程,帮助开发者和技术团队顺利完成上线与稳定运维。

那家公司招的是业务开发岗,岗位说明写的是“负责业务系统接口开发”,我没有多问,面试就结束了。

后来复盘时我发现,这19家公司的考察点可以归成两类:

  • 模型原理类:与预训练网络结构、参数规模、注意力机制有关的底层细节。
  • 应用工程类:RAG流程设计、检索准确率优化、提示词工程、Agent架构、Function Calling实现、向量库选型、幻觉治理。

团队需要什么样的人,招聘启事已经写得很清楚。所以这次他想转的方向,本质上是“大模型应用工程”:把大模型放进真实业务系统,让它稳定、准确、可控地提供服务。这也是他做Java后端时最熟悉的部分。

我没有直接劝他放弃,而是把问题拆开:

  1. 作为自荐,可以讲清自己的技术储备。
  2. 与此同时,既然他熟悉服务端,不妨把目标企业“问得最多、自己又答不全”的环节逐个做一遍、跑起来。向量库选型、检索准确率、幻觉治理,本来都需要真实部署、真实调优才能讲透。
  3. 前提是先弄明白岗位到底要什么。

于是他给自己定了一条硬性规定:凡是在面试里被问到、自己回答得不够扎实的环节,必须自己动手搭一遍服务、跑通一遍、压一遍、再优化一遍。下面就把这轮实践里沉淀的部署流程整理出来。需要说明的是,这是一套通用方案:训练、推理和向量检索能力既可以通过某类模型服务以接口方式接入,也可以在自有GPU资源上部署开源推理框架,本文对两种方式都适用。


一、部署概述

部署对象:一套面向业务场景的RAG(检索增强生成)大模型应用,对外提供问答接口。服务包括对话编排、文档解析与向量化流水线、混合检索、提示词拼装、模型调用、Function Calling工具调用和引用溯源。对话多轮存储、会话记录、评测数据都由后端服务承载。

部署目标:服务上线后应满足以下几点:

  • 对外提供稳定的HTTP接口,支持普通问答、流式输出和工具调用;
  • 回答有据可依,可标注来源,尽量不输出与检索内容无关的事实;
  • 检索不到依据时能够主动拒答或转人工,而不是编造;
  • 关键指标可观测、可告警,异常时可快速降级或回滚。

适用读者:

  • 开发者:第一次要把大模型能力做成线上服务;
  • 运维人员:负责上线、监控、容量和故障处理;
  • 架构师:需要做组件选型和资源规划;
  • 技术负责人:关注效果、稳定性和成本的整体平衡。

基本背景:这是一个在线推理服务,需要同时依赖数据库、缓存、对象存储、向量库和大模型服务,请求处理链路比传统Web服务更长。部署前需先明确四点:

  • 应用形态:容器化微服务,前面挂负载均衡和网关;
  • 运行环境:以云上资源为主,也可在私有环境中自建全部组件;
  • 网络访问:终端用户走HTTPS,服务端访问模型服务可能走公网,也可能走内网专用通道;
  • 数据依赖:文档存放在对象存储,结构化信息存放在关系型数据库,向量存放在向量检索服务。

二、部署场景

场景 部署重点 注意事项
企业知识库问答 文档权限映射、增量索引、引用溯源 检索结果必须按用户权限过滤
智能客服 高并发、语义缓存、兜底策略 回答涉及退换货等政策,须引用最新制度文档
文档审阅辅助 长文档切片、批量异步处理 文档量大,索引构建宜异步执行
数据分析助手 Function Calling对接业务接口 工具调用需鉴权、限流、幂等
多业务线模型网关 多模型路由、配额与成本分摊 各业务隔离限流,统一审计

反过来,以下场景不宜直接套用RAG方案:强实时交易写入、对延迟要求极高的交互、完全不涉及外部知识的小型功能。在这些场景下引入大模型,往往得不偿失。

三、架构与组件

整体分层如下:

  1. [终端用户 / 业务系统]
  2. │ HTTPS
  3. ▼
  4. [负载均衡] → [API网关:鉴权 / 限流 / 路由 / 审计]
  5. │
  6. ▼
  7. [应用编排服务 ×N 副本] ──→ [缓存服务:语义缓存 / 会话]
  8. ├──→ [向量检索服务] ←── [索引构建异步任务]
  9. ├──→ [关键词检索] ←── [文档解析 / 切片 / 向量化]
  10. ├──→ [大模型推理服务] (自建推理服务 或 通用模型服务API)
  11. └──→ [工具接口层:Function Calling 后端]
  12. │
  13. ▼
  14. [对象存储:原始文档] [关系型数据库:用户/会话/权限] [日志 / 监控告警 / 链路追踪]
组件 作用 部署关注点
接入层(负载均衡、API网关) 统一入口、鉴权、限流、灰度路由 健康检查、超时、会话保持、HTTPS卸载
应用编排服务 编排“检索—拼装—生成—工具”链路,维护多轮对话 无状态、多副本、优雅退出
索引构建任务 文档解析、切片、向量化、写入索引 异步、可重试、增量更新
向量检索与关键词检索 召回候选片段 维度一致、索引参数、分片与副本
大模型推理服务 理解问题、生成回答、决定工具调用 自建需规划GPU;API接入需关注配额与网络出口
工具接口层 承接Function Calling背后的真实业务操作 鉴权、幂等、超时、审计
存储 文档、会话、元数据、向量 备份、生命周期、容量预估
观测与安全 日志、指标、链路、告警、密钥管理 采样率、脱敏、告警分级

组件不必全部自建。接入托管模型服务时,“部署”会简化为应用、检索服务和工具接口的部署;对数据敏感、要求离线运行的场景,则需要在自有GPU资源上部署推理服务。两种方式的编排层逻辑一致。

四、前置准备

1. 权限与安全

  • 创建独立部署账号或角色,遵循最小权限:只开放本次部署所需的资源创建、读写和日志查看权限;
  • 大模型调用密钥、数据库口令统一存入密钥管理服务,禁止写进代码仓库或镜像;
  • 提前规划HTTPS证书与域名,内部服务之间的调用尽量走内网。

2. 资源规划

资源 估算依据 通用建议
编排服务计算 请求量×平均处理时长×峰值系数÷单实例并发能力 先按2~3个可用区、每区≥2副本起步,留出峰值余量
GPU(自建推理时) 模型参数量、精度、并发批量、上下文长度 先压测显存占用和单实例吞吐,再定卡数和副本数
向量检索 向量数量×维度×每维字节数,另加索引开销 文档数百万级、每篇切出数十个片段时,应尽早考虑分片
对象存储 原始文档总量、版本数 为历史版本配置生命周期策略
关系型数据库 会话量、工具调用日志量、保留周期 预留连接池,定期归档冷数据
网络带宽 文档上传、模型流式输出 大文档批量导入安排在业务低峰
消息队列 索引任务峰值、文档总量 用于解耦上传与建索引,支撑失败重试

3. 环境一致性

依赖版本、配置格式、切片参数三方面在开发、测试、生产环境必须一致。最典型的问题是:开发环境用的向量维度和生产环境向量库中的索引不一致,上线后检索直接报错。建议:

  • 依赖锁定版本;
  • 用同一套镜像贯穿三个环境,差异只通过环境变量和配置中心注入;
  • 配置项中凡是会影响检索结果的参数,都要纳入版本管理。

4. 数据准备

  • 文档治理:明确接入范围(如制度文档、产品手册、工单知识),清理重复和过期内容;
  • 切片策略:确定切片大小、重叠长度、元数据(文档名、章节、生效日期、权限标签);
  • 评测集:这是上线前最容易被跳过、却最关键的准备工作。整理100~300条典型问题,标注标准答案和应命中的文档,上线后用同一套评测集做效果对比;
  • 权限标签:每个片段带上所属部门或密级,检索时按当前用户权限过滤。

5. 代码与配置

  • 代码包或镜像构建完成后推送到镜像仓库,使用带版本号的不可变标签(如 1.4.2),禁止复用 latest;
  • 准备配置模板,把数据库地址、模型服务接入地址、端口、密钥占位符等集中管理;
  • 确认对外端口只开放必要的一个(如8080),其余管理端口仅内网可达。

五、部署流程

整体顺序为:

网络初始化 → 依赖组件创建 → 镜像构建 → 配置注入 → 服务启动 → 索引构建 → 暴露访问 → 灰度放量

第1步:初始化网络与安全边界

  • 创建私有网络和子网,把编排服务、数据库、缓存、向量库放在同一私有网络内,通过内网通信;
  • 配置安全组或网络访问控制:编排服务仅允许来自负载均衡的流量,数据库仅允许来自编排服务的流量;
  • 如果自建推理服务需要拉取模型权重,提前规划内网下载通道或镜像源,避免每台机器都去访问公网。

为什么重要:网络边界一旦配错,要么服务之间不通,要么数据库被公网扫描。上线后再修,成本远高于提前规划。

第2步:创建依赖组件

  • 关系型数据库:创建实例、库和账号,初始化表结构(用户、会话、消息、工具调用日志);
  • 缓存服务:用于语义缓存和多轮会话存储;
  • 对象存储:创建文档桶,关闭公共读权限,服务使用独立子账号访问;
  • 向量检索服务:创建集合或索引,维度必须与所选向量化模型一致,并规划好分片和副本;
  • 消息队列:创建索引构建任务主题。

第3步:构建并推送镜像

  • 使用多阶段构建,运行镜像只保留运行时和依赖,减小体积;
  • 镜像名统一为 <仓库地址>/<命名空间>/<服务名>:<版本号>,并保留上一版本用于回滚;
  • 容器内以非root用户运行,并配置健康检查端点(如 /healthz、/readyz)。

第4步:注入配置与密钥

  • 非敏感配置通过配置中心或环境变量下发;
  • 密钥从密钥管理服务读取,注入为环境变量或临时文件;
  • 应用启动时做一次配置校验,缺必填项就快速失败并输出明确日志,避免带着半套配置“带病启动”。

第5步:部署服务并启动

以容器平台为例,用声明式部署清单管理副本数、资源限制和健康检查:

  1. # 通用部署清单示意,字段名称因平台而异
  2. apiVersion: apps/v1
  3. kind: Deployment
  4. metadata:
  5. name: rag-orchestrator
  6. spec:
  7. replicas: 3
  8. selector:
  9. matchLabels: { app: rag-orchestrator }
  10. template:
  11. metadata:
  12. labels: { app: rag-orchestrator }
  13. spec:
  14. containers:
  15. - name: orchestrator
  16. image: <镜像仓库地址>/<命名空间>/rag-orchestrator:1.4.2
  17. ports:
  18. - containerPort: 8080
  19. envFrom:
  20. - configMapRef: { name: rag-config } # 非敏感配置
  21. - secretRef: { name: rag-secrets } # 密钥引用
  22. resources:
  23. requests: { cpu: "1", memory: "2Gi" }
  24. limits: { cpu: "2", memory: "4Gi" }
  25. readinessProbe: # 就绪前不接流量
  26. httpGet: { path: /readyz, port: 8080 }
  27. initialDelaySeconds: 15
  28. periodSeconds: 10
  29. livenessProbe: # 异常时自动重启
  30. httpGet: { path: /healthz, port: 8080 }
  31. periodSeconds: 20
  32. lifecycle:
  33. preStop:
  34. exec: { command: ["sh", "-c", "sleep 15"] } # 给负载均衡摘流时间

关键参数说明:

  • 资源请求(requests):影响调度,按压测得到的实际用量设定,避免资源浪费;
  • 资源上限(limits):防止单个副本异常时拖垮整个节点;内存上限偏低会频繁触发OOM重启;
  • 就绪探针:应用完成配置加载、数据库连通后才接流量;
  • 存活探针:进程卡死时自动重启;
  • 优雅退出:先把实例从负载均衡摘除,再处理完手上的请求,避免发版期间出现5xx。

编排服务本身应无状态,会话状态外置到缓存,这样任意副本都能处理任意请求,扩容和重启互不影响。

第6步:构建索引(异步)

  • 文档先上传到对象存储,再向消息队列投递“解析—切片—向量化—写入”任务;
  • 任务要支持幂等:同一文档重复处理时先按文档ID删除旧片段,再写入新片段;
  • 向量化批量调用,失败任务进入重试队列,超过次数转入人工处理;
  • 全量重建与灰度切换:切片策略或向量化模型变更时,重建一个并行索引,验证通过后原子切换别名,旧索引保留一段时间以便回滚。

第7步:暴露服务

  • 负载均衡后端挂载编排服务,配置健康检查路径和超时;
  • 绑定域名和证书,HTTP自动跳转HTTPS;
  • 网关层配置鉴权(API Key或统一身份认证)、限流和按请求来源的路由;
  • 流式输出场景需要调大网关的响应超时,并关闭对流式响应的缓冲。

第8步:灰度放量

  1. 先在测试环境跑通评测集;
  2. 再切5%~10%流量观察1~2天;
  3. 最后逐步放量至全量。

灰度期间重点关注超时率、错误率、首字时延和拒答率。

第9步:回滚预案

  • 应用层:保留上一版本镜像标签和上一版配置,出现异常时用一条命令切回;
  • 数据层:索引变更前先创建快照;
  • 数据库变更遵循“先加列、后切读、最后删旧列”的顺序,确保旧版本应用在回滚后仍能正常运行。

六、配置说明

配置项 作用 典型风险
向量维度 必须与索引维度严格一致 不一致时写入或检索直接失败
召回数量topK 控制候选片段数量 过小易漏召回,过大引入噪声、增加生成成本
相关度阈值 低于阈值的片段不参与拼装 阈值过高导致大量拒答,过低导致答非所问
切片大小与重叠 决定单个片段的语义完整性 过大稀释相关度,过小切断上下文
重排(Rerank) 对召回结果二次排序 增加时延,一般只保留前3~5个片段
混合检索权重 向量与关键词检索的融合比例 型号、编号等精确匹配靠关键词,语义相近靠向量,需按场景调
温度参数 控制输出随机性 知识问答宜取低值,创意生成可适当提高
生成超时与重试 控制长尾请求 重试次数过多会放大模型调用量
意图分流 判断是否走检索流程 分流不准会把知识问答误判为闲聊
拒答与转人工 无依据时的兜底 策略缺失会直接导致幻觉
语义缓存TTL 相似问题复用结果 知识更新频繁时TTL过长会返回过期答案

示例配置:

  1. {
  2. "service": { "port": 8080, "requestTimeoutMs": 15000, "streamIdleTimeoutMs": 30000 },
  3. "retrieval": {
  4. "embeddingModel": "embedding-v1",
  5. "embeddingDimension": 1024,
  6. "chunkSize": 600,
  7. "chunkOverlap": 80,
  8. "vectorTopK": 20,
  9. "keywordTopK": 20,
  10. "fusionWeights": { "vector": 0.7, "keyword": 0.3 },
  11. "rerankTopN": 5,
  12. "scoreThreshold": 0.75
  13. },
  14. "generation": {
  15. "modelEndpoint": "<模型服务接入地址>",
  16. "temperature": 0.2,
  17. "maxOutputTokens": 1024,
  18. "maxRetries": 2,
  19. "retryBackoffMs": 500
  20. },
  21. "guardrail": { "maxContextTokens": 4000, "fallbackAnswer": "未找到相关依据,已为您转人工" },
  22. "cache": { "semanticTtlSeconds": 900, "sessionTtlSeconds": 1800 }
  23. }

配置中有三个需要重点理解的逻辑:

  1. 检索参数相互影响:topK、阈值和切片大小是联动的。缩小切片后,单片段语义变弱,通常要适当调低阈值、增大topK,再用重排把有效片段顶到前面。单独调一个参数往往越调越差。
  2. 生成参数需与上下文预算匹配:切片拼装、多轮历史和系统提示共同占用上下文窗口,需要预留输出空间。超出窗口时,应优先截断最早的历史消息,而不是截断检索片段。
  3. 超时与重试是乘积关系:单次超时×重试次数决定最坏耗时。串联检索、重排、生成多个环节时,总预算要在各段之间合理分配。

七、示例说明

1. 请求处理主流程(伪代码)

  1. function handleChat(request):
  2. trace = startTrace(request) # 生成链路追踪ID
  3. session = cache.get(request.sessionId) # 多轮历史从缓存读取
  4. if intentOf(request.query) == "chitchat": # 不需要知识库的请求快速放行
  5. return callModel(smallPrompt(request), maxTokens = 200)
  6. queryEmbedding = embed(request.query) # 1. 问题向量化
  7. candidates = vectorSearch(queryEmbedding, topK = 20) # 2. 语义召回
  8. candidates += keywordSearch(request.query, topK = 20) # 关键词召回
  9. candidates = filterByPermission(candidates, request.user) # 3. 权限过滤
  10. topDocs = rerank(request.query, candidates, topN = 5) # 4. 重排
  11. if topDocs is empty or topDocs.score < threshold:
  12. return respondWithFallback() # 5. 无依据则拒答/转人工,杜绝编造
  13. messages = buildMessages(systemPrompt, topDocs, session, request.query)
  14. plan = callModel(messages, jsonOutput = true) # 6. 让模型决定直接答还是调工具
  15. if plan.type == "tool_call":
  16. result = invokeTool(plan.tool, plan.args, # 7. 工具调用
  17. permission = request.user.scopes,
  18. idempotentKey = request.id)
  19. messages.append(toolResult(result))
  20. answer = callModel(messages) # 8. 基于工具结果生成回答
  21. else:
  22. answer = streamGenerate(messages) # 流式返回,降低首字时延
  23. writeLog(trace, { latencyMs, tokensIn, tokensOut, docIds, rejected = false })
  24. return withCitations(answer, topDocs) # 9. 附上引用来源

2. 工具接口设计(Function Calling的后端承接)

模型的“函数调用”最终落到普通HTTP接口上,因此工具接口要按线上接口标准来设计:

  1. {
  2. "tools": [
  3. { "name": "query_order_status", "description": "按订单号查询订单状态",
  4. "parameters": { "orderId": { "type": "string", "required": true } },
  5. "scope": "order:read" },
  6. { "name": "create_ticket", "description": "创建售后工单",
  7. "parameters": { "orderId": { "type": "string" }, "issue": { "type": "string" } },
  8. "scope": "ticket:write", "idempotent": true }
  9. ]
  10. }
  • 权限:模型给出参数不代表用户有权限。服务端必须根据当前登录用户做二次校验(如只能查自己的订单),防止通过提示词绕过权限;
  • 幂等:写操作类工具携带幂等键,重试不会重复创建工单或重复扣款;
  • 超时与熔断:工具接口超时时间要短于整体请求预算,连续失败时直接降级,避免拖垮主链路;
  • 审计:谁在什么时候通过对话调用了什么工具、传了什么参数,都要留痕可查;
  • 参数校验:对模型输出的参数做类型、范围、格式校验,不合格直接返回错误而不是继续执行。

3. 上线前部署清单

类别 检查项
网络 安全组最小开放、内网互通、证书有效、域名解析正确
依赖 数据库/缓存/对象存储/向量库连通,账号权限正确
配置 密钥未硬编码、维度一致、超时参数齐全
应用 健康检查通过、副本跨可用区、资源上下限合理
索引 评测集召回结果正确、增量更新生效、有索引快照
观测 日志、指标、链路已接入,告警规则已配置
安全 越权测试通过、提示词注入测试通过、敏感信息脱敏
回滚 上一版本镜像和配置可用、回滚演练过一次

八、上线验证

建议分四层验证,逐层收敛问题范围:

第一层:基础设施

  • 负载均衡健康检查全部通过;
  • 实例资源使用率处于合理区间,无频繁重启;
  • 日志中无配置缺失、连接失败类错误。

第二层:功能与接口

  • 普通问答能正常返回,并在回答末尾附上引用来源;
  • 流式接口首字可正常返回,中途断开不会导致服务异常;
  • 多轮对话能正确继承上下文;
  • 工具调用能正确命中并返回结果;
  • 越权访问被正确拒绝。

第三层:效果质量(RAG应用特有的关键一层)

指标 含义 验证方法
召回命中率 应命中的文档是否被检索到 用评测集比对命中文档ID
回答准确率 答案是否与标准答案一致 人工抽检+自动比对
引用正确率 引用片段是否真正支撑答案 逐条核对答案与引用
幻觉率 回答中出现检索内容之外事实的比例 人工抽检,重点关注数字、日期、金额
拒答合理率 无依据时是否拒答、有依据时是否误拒 构造“库中无答案”的问题集
首字时延 / 整体时延 流式响应与完整响应耗时 压测工具统计P50/P95/P99

效果类指标没有统一标准,应由业务方共同确定基线,例如“评测集准确率不低于上线前的基线,幻觉率低于约定阈值”。这些基线也是后续版本能否上线的判定依据。

第四层:性能与稳定性

  • 按预估峰值1.5倍压测,观察错误率和时延变化,找出拐点;
  • 主动模拟故障:模型服务超时、向量库短暂不可用、某个可用区实例全部异常,验证降级和容灾是否生效;
  • 观察30分钟以上,确认无内存泄漏(内存曲线平稳)、无连接泄漏(连接数不持续增长)。

九、常见问题与排查

现象 常见原因 排查思路
部署后502/503 就绪探针未通过、后端实例异常、网关超时过短 看实例日志和探针状态,调大网关超时
频繁重启(OOM) 内存上限过低、长文档导致内存激增 查看内存曲线,限制单请求文档大小和并发
检索不到内容 向量维度不一致、索引未建成、切片过大 直接对向量库发起查询验证,检查索引任务队列
检索到但答非所问 阈值过低、缺少重排、切片切断语义 打印召回片段人工核对,调整阈值或切片策略
回答编造内容 缺少拒答策略、提示词约束不足 检查无依据场景是否触发兜底,强化“只依据给定资料回答”的约束
首字时延高 未启用流式、模型侧排队、网关缓冲 分阶段打点定位耗时,关闭流式缓冲
调用超时集中出现 模型服务限流、配额不足、重试放大流量 查看限流与配额指标,加入指数退避和熔断
冷启动慢 首次加载模型或建立大量连接 预热接口,启动时主动发起一次真实调用
知识更新后答案仍是旧内容 索引未重建、语义缓存未失效 更新文档时同步失效相关缓存,核对索引版本
401/403错误 密钥过期或权限不足 检查密钥有效期和子账号策略,启用密钥轮换

排查有一个通用原则:按“入口→应用→检索→模型→工具”的顺序分段定位。具体做法是在链路中埋好分段耗时和状态码,先确认问题出在哪一段,再深入该段排查,不要在整链路上盲目试参数。

十、运维与优化

1. 稳定性

  • 熔断降级:模型服务异常时,返回缓存答案或预设兜底话术;工具接口异常时,提示用户稍后再试,而不是报错页面;
  • 多副本跨可用区:配合负载均衡健康检查,单点故障不影响整体;
  • 限流分级:普通问答和工具调用分别限流,防止工具调用挤占生成资源;
  • 全链路超时:网关、编排服务、各依赖调用都要有超时设置,且外层超时大于内层超时之和,避免重试风暴。

2. 安全

  • 密钥管理:集中托管、定期轮换,禁止出现在日志和异常堆栈中;
  • 权限过滤前置:检索结果在进入模型之前完成权限过滤,不能指望模型“自觉不输出”无权内容;
  • 提示词注入防护:把用户输入与系统提示严格分区,对“忽略以上指令”类输入做检测和隔离;
  • 输入输出双向校验:输入端限制长度和格式,输出端做敏感信息与内容合规检查;
  • 日志脱敏审计:对话内容按合规要求脱敏存储,保留调用链审计记录。

3. 性能

  • 语义缓存:对高频相似问题缓存结果,语义相近的问题可直接复用,降低模型调用量;
  • 多级缓存:检索结果缓存与回答缓存分开设置TTL,知识更新时精准失效;
  • 流式输出:先返回首字,大幅改善体感时延;
  • 连接池与批量向量化:避免频繁建连;索引构建阶段批量调用向量化接口,降低单位成本。

4. 扩展与成本

  • 扩容判断:以队列积压、P95时延、错误率作为扩容触发指标,而不是只看CPU;
  • 索引扩展:片段数量增长到千万级时,按业务线或时间做分片和冷热分离,冷数据使用低成本存储;
  • 模型分级路由:简单意图用轻量模型或规则处理,复杂问题才路由到能力更强的模型;
  • 上下文预算控制:限制拼装片段数量和历史轮数,token消耗往往随上下文线性增长,这也是RAG应用成本的主要来源;
  • 闲置资源治理:开发测试环境定时停机,非高峰期降低副本数。

5. 可维护性

  • 评测集回归:每次调整切片、提示词或更换模型,都先跑评测集,用数据而非感觉判断效果变化;
  • 配置与版本可回溯:检索参数和提示词纳入版本管理,出现效果回退时能快速定位是哪次变更导致;
  • 发布节奏:模型服务升级、索引重建属于高风险变更,同样走灰度流程;
  • 知识运营闭环:把用户点“没有帮助”的问题、拒答问题和转人工记录汇总,定期补充到知识库,形成“问题发现—文档补充—重新索引—效果复测”的闭环。

十一、总结

回到开头那家公司:它要的是一个能把大模型工程化落地的人。RAG流程、检索优化、提示词、Agent、Function Calling、向量库选型和幻觉治理,每一个都对应明确的部署和运维环节。这些东西,搭一遍、跑一遍、压一遍,远比只看文档更有说服力。

本文梳理的部署要点如下:

  1. 目标:部署RAG大模型应用,对外提供稳定、可溯源、可治理的问答能力;
  2. 准备:权限与密钥、资源规格、依赖组件、评测集,缺一不可;
  3. 流程:网络→依赖→镜像→配置→启动→索引→暴露→灰度,每一步都对应明确的风险控制点;
  4. 验证:从基础设施到效果质量四层验证,效果类指标必须有评测集做基线;
  5. 运维:稳定性靠熔断降级和优雅退出,安全靠权限过滤和密钥轮换,成本靠模型分级和上下文控制;
  6. 演进:建立“问题发现—知识补充—重新索引—效果复测”的闭环,是RAG应用长期保持效果的关键。

如果那位同学把上面这套流程完整走一遍,他面试时能讲的就不再只是“RAG是什么”,而是“RAG怎么部署、检索准确率怎么调、幻觉怎么兜底、上线后怎么监控和扩容”。这才是应用工程岗位真正需要的能力。

对准备把大模型能力推上线的团队来说,同样如此:先把链路部署对,再把效果调准,最后把运维做扎实。这三步的顺序不能颠倒,因为一个 unstable 的服务,任何效果优化都没有意义。

发表评论

活动