大模型RAG应用部署实战:从准备到上线运维
作者:沙与沫2026.11.18 11:26浏览量:1简介:面试里问得最多的往往不是模型内部原理,而是RAG链路、向量检索、提示词、Agent编排、Function Calling与幻觉治理——这些恰好都属于"部署什么、怎么部署、上线后怎么运维"的工程问题。本文以RAG大模型应用为部署对象,系统讲解从环境准备、资源规划、部署上线到验证运维的完整流程,帮助开发者和技术团队顺利完成上线与稳定运维。
那家公司招的是业务开发岗,岗位说明写的是“负责业务系统接口开发”,我没有多问,面试就结束了。
后来复盘时我发现,这19家公司的考察点可以归成两类:
- 模型原理类:与预训练网络结构、参数规模、注意力机制有关的底层细节。
- 应用工程类:RAG流程设计、检索准确率优化、提示词工程、Agent架构、Function Calling实现、向量库选型、幻觉治理。
团队需要什么样的人,招聘启事已经写得很清楚。所以这次他想转的方向,本质上是“大模型应用工程”:把大模型放进真实业务系统,让它稳定、准确、可控地提供服务。这也是他做Java后端时最熟悉的部分。
我没有直接劝他放弃,而是把问题拆开:
- 作为自荐,可以讲清自己的技术储备。
- 与此同时,既然他熟悉服务端,不妨把目标企业“问得最多、自己又答不全”的环节逐个做一遍、跑起来。向量库选型、检索准确率、幻觉治理,本来都需要真实部署、真实调优才能讲透。
- 前提是先弄明白岗位到底要什么。
于是他给自己定了一条硬性规定:凡是在面试里被问到、自己回答得不够扎实的环节,必须自己动手搭一遍服务、跑通一遍、压一遍、再优化一遍。下面就把这轮实践里沉淀的部署流程整理出来。需要说明的是,这是一套通用方案:训练、推理和向量检索能力既可以通过某类模型服务以接口方式接入,也可以在自有GPU资源上部署开源推理框架,本文对两种方式都适用。
一、部署概述
部署对象:一套面向业务场景的RAG(检索增强生成)大模型应用,对外提供问答接口。服务包括对话编排、文档解析与向量化流水线、混合检索、提示词拼装、模型调用、Function Calling工具调用和引用溯源。对话多轮存储、会话记录、评测数据都由后端服务承载。
部署目标:服务上线后应满足以下几点:
- 对外提供稳定的HTTP接口,支持普通问答、流式输出和工具调用;
- 回答有据可依,可标注来源,尽量不输出与检索内容无关的事实;
- 检索不到依据时能够主动拒答或转人工,而不是编造;
- 关键指标可观测、可告警,异常时可快速降级或回滚。
适用读者:
- 开发者:第一次要把大模型能力做成线上服务;
- 运维人员:负责上线、监控、容量和故障处理;
- 架构师:需要做组件选型和资源规划;
- 技术负责人:关注效果、稳定性和成本的整体平衡。
基本背景:这是一个在线推理服务,需要同时依赖数据库、缓存、对象存储、向量库和大模型服务,请求处理链路比传统Web服务更长。部署前需先明确四点:
- 应用形态:容器化微服务,前面挂负载均衡和网关;
- 运行环境:以云上资源为主,也可在私有环境中自建全部组件;
- 网络访问:终端用户走HTTPS,服务端访问模型服务可能走公网,也可能走内网专用通道;
- 数据依赖:文档存放在对象存储,结构化信息存放在关系型数据库,向量存放在向量检索服务。
二、部署场景
| 场景 | 部署重点 | 注意事项 |
|---|---|---|
| 企业知识库问答 | 文档权限映射、增量索引、引用溯源 | 检索结果必须按用户权限过滤 |
| 智能客服 | 高并发、语义缓存、兜底策略 | 回答涉及退换货等政策,须引用最新制度文档 |
| 文档审阅辅助 | 长文档切片、批量异步处理 | 文档量大,索引构建宜异步执行 |
| 数据分析助手 | Function Calling对接业务接口 | 工具调用需鉴权、限流、幂等 |
| 多业务线模型网关 | 多模型路由、配额与成本分摊 | 各业务隔离限流,统一审计 |
反过来,以下场景不宜直接套用RAG方案:强实时交易写入、对延迟要求极高的交互、完全不涉及外部知识的小型功能。在这些场景下引入大模型,往往得不偿失。
三、架构与组件
整体分层如下:
[终端用户 / 业务系统]│ HTTPS▼[负载均衡] → [API网关:鉴权 / 限流 / 路由 / 审计]│▼[应用编排服务 ×N 副本] ──→ [缓存服务:语义缓存 / 会话]├──→ [向量检索服务] ←── [索引构建异步任务]├──→ [关键词检索] ←── [文档解析 / 切片 / 向量化]├──→ [大模型推理服务] (自建推理服务 或 通用模型服务API)└──→ [工具接口层:Function Calling 后端]│▼[对象存储:原始文档] [关系型数据库:用户/会话/权限] [日志 / 监控告警 / 链路追踪]
| 组件 | 作用 | 部署关注点 |
|---|---|---|
| 接入层(负载均衡、API网关) | 统一入口、鉴权、限流、灰度路由 | 健康检查、超时、会话保持、HTTPS卸载 |
| 应用编排服务 | 编排“检索—拼装—生成—工具”链路,维护多轮对话 | 无状态、多副本、优雅退出 |
| 索引构建任务 | 文档解析、切片、向量化、写入索引 | 异步、可重试、增量更新 |
| 向量检索与关键词检索 | 召回候选片段 | 维度一致、索引参数、分片与副本 |
| 大模型推理服务 | 理解问题、生成回答、决定工具调用 | 自建需规划GPU;API接入需关注配额与网络出口 |
| 工具接口层 | 承接Function Calling背后的真实业务操作 | 鉴权、幂等、超时、审计 |
| 存储 | 文档、会话、元数据、向量 | 备份、生命周期、容量预估 |
| 观测与安全 | 日志、指标、链路、告警、密钥管理 | 采样率、脱敏、告警分级 |
组件不必全部自建。接入托管模型服务时,“部署”会简化为应用、检索服务和工具接口的部署;对数据敏感、要求离线运行的场景,则需要在自有GPU资源上部署推理服务。两种方式的编排层逻辑一致。
四、前置准备
1. 权限与安全
- 创建独立部署账号或角色,遵循最小权限:只开放本次部署所需的资源创建、读写和日志查看权限;
- 大模型调用密钥、数据库口令统一存入密钥管理服务,禁止写进代码仓库或镜像;
- 提前规划HTTPS证书与域名,内部服务之间的调用尽量走内网。
2. 资源规划
| 资源 | 估算依据 | 通用建议 |
|---|---|---|
| 编排服务计算 | 请求量×平均处理时长×峰值系数÷单实例并发能力 | 先按2~3个可用区、每区≥2副本起步,留出峰值余量 |
| GPU(自建推理时) | 模型参数量、精度、并发批量、上下文长度 | 先压测显存占用和单实例吞吐,再定卡数和副本数 |
| 向量检索 | 向量数量×维度×每维字节数,另加索引开销 | 文档数百万级、每篇切出数十个片段时,应尽早考虑分片 |
| 对象存储 | 原始文档总量、版本数 | 为历史版本配置生命周期策略 |
| 关系型数据库 | 会话量、工具调用日志量、保留周期 | 预留连接池,定期归档冷数据 |
| 网络带宽 | 文档上传、模型流式输出 | 大文档批量导入安排在业务低峰 |
| 消息队列 | 索引任务峰值、文档总量 | 用于解耦上传与建索引,支撑失败重试 |
3. 环境一致性
依赖版本、配置格式、切片参数三方面在开发、测试、生产环境必须一致。最典型的问题是:开发环境用的向量维度和生产环境向量库中的索引不一致,上线后检索直接报错。建议:
- 依赖锁定版本;
- 用同一套镜像贯穿三个环境,差异只通过环境变量和配置中心注入;
- 配置项中凡是会影响检索结果的参数,都要纳入版本管理。
4. 数据准备
- 文档治理:明确接入范围(如制度文档、产品手册、工单知识),清理重复和过期内容;
- 切片策略:确定切片大小、重叠长度、元数据(文档名、章节、生效日期、权限标签);
- 评测集:这是上线前最容易被跳过、却最关键的准备工作。整理100~300条典型问题,标注标准答案和应命中的文档,上线后用同一套评测集做效果对比;
- 权限标签:每个片段带上所属部门或密级,检索时按当前用户权限过滤。
5. 代码与配置
- 代码包或镜像构建完成后推送到镜像仓库,使用带版本号的不可变标签(如
1.4.2),禁止复用latest; - 准备配置模板,把数据库地址、模型服务接入地址、端口、密钥占位符等集中管理;
- 确认对外端口只开放必要的一个(如8080),其余管理端口仅内网可达。
五、部署流程
整体顺序为:
网络初始化 → 依赖组件创建 → 镜像构建 → 配置注入 → 服务启动 → 索引构建 → 暴露访问 → 灰度放量
第1步:初始化网络与安全边界
- 创建私有网络和子网,把编排服务、数据库、缓存、向量库放在同一私有网络内,通过内网通信;
- 配置安全组或网络访问控制:编排服务仅允许来自负载均衡的流量,数据库仅允许来自编排服务的流量;
- 如果自建推理服务需要拉取模型权重,提前规划内网下载通道或镜像源,避免每台机器都去访问公网。
为什么重要:网络边界一旦配错,要么服务之间不通,要么数据库被公网扫描。上线后再修,成本远高于提前规划。
第2步:创建依赖组件
- 关系型数据库:创建实例、库和账号,初始化表结构(用户、会话、消息、工具调用日志);
- 缓存服务:用于语义缓存和多轮会话存储;
- 对象存储:创建文档桶,关闭公共读权限,服务使用独立子账号访问;
- 向量检索服务:创建集合或索引,维度必须与所选向量化模型一致,并规划好分片和副本;
- 消息队列:创建索引构建任务主题。
第3步:构建并推送镜像
- 使用多阶段构建,运行镜像只保留运行时和依赖,减小体积;
- 镜像名统一为
<仓库地址>/<命名空间>/<服务名>:<版本号>,并保留上一版本用于回滚; - 容器内以非root用户运行,并配置健康检查端点(如
/healthz、/readyz)。
第4步:注入配置与密钥
- 非敏感配置通过配置中心或环境变量下发;
- 密钥从密钥管理服务读取,注入为环境变量或临时文件;
- 应用启动时做一次配置校验,缺必填项就快速失败并输出明确日志,避免带着半套配置“带病启动”。
第5步:部署服务并启动
以容器平台为例,用声明式部署清单管理副本数、资源限制和健康检查:
# 通用部署清单示意,字段名称因平台而异apiVersion: apps/v1kind: Deploymentmetadata:name: rag-orchestratorspec:replicas: 3selector:matchLabels: { app: rag-orchestrator }template:metadata:labels: { app: rag-orchestrator }spec:containers:- name: orchestratorimage: <镜像仓库地址>/<命名空间>/rag-orchestrator:1.4.2ports:- containerPort: 8080envFrom:- configMapRef: { name: rag-config } # 非敏感配置- secretRef: { name: rag-secrets } # 密钥引用resources:requests: { cpu: "1", memory: "2Gi" }limits: { cpu: "2", memory: "4Gi" }readinessProbe: # 就绪前不接流量httpGet: { path: /readyz, port: 8080 }initialDelaySeconds: 15periodSeconds: 10livenessProbe: # 异常时自动重启httpGet: { path: /healthz, port: 8080 }periodSeconds: 20lifecycle:preStop:exec: { command: ["sh", "-c", "sleep 15"] } # 给负载均衡摘流时间
关键参数说明:
- 资源请求(requests):影响调度,按压测得到的实际用量设定,避免资源浪费;
- 资源上限(limits):防止单个副本异常时拖垮整个节点;内存上限偏低会频繁触发OOM重启;
- 就绪探针:应用完成配置加载、数据库连通后才接流量;
- 存活探针:进程卡死时自动重启;
- 优雅退出:先把实例从负载均衡摘除,再处理完手上的请求,避免发版期间出现5xx。
编排服务本身应无状态,会话状态外置到缓存,这样任意副本都能处理任意请求,扩容和重启互不影响。
第6步:构建索引(异步)
- 文档先上传到对象存储,再向消息队列投递“解析—切片—向量化—写入”任务;
- 任务要支持幂等:同一文档重复处理时先按文档ID删除旧片段,再写入新片段;
- 向量化批量调用,失败任务进入重试队列,超过次数转入人工处理;
- 全量重建与灰度切换:切片策略或向量化模型变更时,重建一个并行索引,验证通过后原子切换别名,旧索引保留一段时间以便回滚。
第7步:暴露服务
- 负载均衡后端挂载编排服务,配置健康检查路径和超时;
- 绑定域名和证书,HTTP自动跳转HTTPS;
- 网关层配置鉴权(API Key或统一身份认证)、限流和按请求来源的路由;
- 流式输出场景需要调大网关的响应超时,并关闭对流式响应的缓冲。
第8步:灰度放量
- 先在测试环境跑通评测集;
- 再切5%~10%流量观察1~2天;
- 最后逐步放量至全量。
灰度期间重点关注超时率、错误率、首字时延和拒答率。
第9步:回滚预案
- 应用层:保留上一版本镜像标签和上一版配置,出现异常时用一条命令切回;
- 数据层:索引变更前先创建快照;
- 数据库变更遵循“先加列、后切读、最后删旧列”的顺序,确保旧版本应用在回滚后仍能正常运行。
六、配置说明
| 配置项 | 作用 | 典型风险 |
|---|---|---|
| 向量维度 | 必须与索引维度严格一致 | 不一致时写入或检索直接失败 |
| 召回数量topK | 控制候选片段数量 | 过小易漏召回,过大引入噪声、增加生成成本 |
| 相关度阈值 | 低于阈值的片段不参与拼装 | 阈值过高导致大量拒答,过低导致答非所问 |
| 切片大小与重叠 | 决定单个片段的语义完整性 | 过大稀释相关度,过小切断上下文 |
| 重排(Rerank) | 对召回结果二次排序 | 增加时延,一般只保留前3~5个片段 |
| 混合检索权重 | 向量与关键词检索的融合比例 | 型号、编号等精确匹配靠关键词,语义相近靠向量,需按场景调 |
| 温度参数 | 控制输出随机性 | 知识问答宜取低值,创意生成可适当提高 |
| 生成超时与重试 | 控制长尾请求 | 重试次数过多会放大模型调用量 |
| 意图分流 | 判断是否走检索流程 | 分流不准会把知识问答误判为闲聊 |
| 拒答与转人工 | 无依据时的兜底 | 策略缺失会直接导致幻觉 |
| 语义缓存TTL | 相似问题复用结果 | 知识更新频繁时TTL过长会返回过期答案 |
示例配置:
{"service": { "port": 8080, "requestTimeoutMs": 15000, "streamIdleTimeoutMs": 30000 },"retrieval": {"embeddingModel": "embedding-v1","embeddingDimension": 1024,"chunkSize": 600,"chunkOverlap": 80,"vectorTopK": 20,"keywordTopK": 20,"fusionWeights": { "vector": 0.7, "keyword": 0.3 },"rerankTopN": 5,"scoreThreshold": 0.75},"generation": {"modelEndpoint": "<模型服务接入地址>","temperature": 0.2,"maxOutputTokens": 1024,"maxRetries": 2,"retryBackoffMs": 500},"guardrail": { "maxContextTokens": 4000, "fallbackAnswer": "未找到相关依据,已为您转人工" },"cache": { "semanticTtlSeconds": 900, "sessionTtlSeconds": 1800 }}
配置中有三个需要重点理解的逻辑:
- 检索参数相互影响:topK、阈值和切片大小是联动的。缩小切片后,单片段语义变弱,通常要适当调低阈值、增大topK,再用重排把有效片段顶到前面。单独调一个参数往往越调越差。
- 生成参数需与上下文预算匹配:切片拼装、多轮历史和系统提示共同占用上下文窗口,需要预留输出空间。超出窗口时,应优先截断最早的历史消息,而不是截断检索片段。
- 超时与重试是乘积关系:单次超时×重试次数决定最坏耗时。串联检索、重排、生成多个环节时,总预算要在各段之间合理分配。
七、示例说明
1. 请求处理主流程(伪代码)
function handleChat(request):trace = startTrace(request) # 生成链路追踪IDsession = cache.get(request.sessionId) # 多轮历史从缓存读取if intentOf(request.query) == "chitchat": # 不需要知识库的请求快速放行return callModel(smallPrompt(request), maxTokens = 200)queryEmbedding = embed(request.query) # 1. 问题向量化candidates = vectorSearch(queryEmbedding, topK = 20) # 2. 语义召回candidates += keywordSearch(request.query, topK = 20) # 关键词召回candidates = filterByPermission(candidates, request.user) # 3. 权限过滤topDocs = rerank(request.query, candidates, topN = 5) # 4. 重排if topDocs is empty or topDocs.score < threshold:return respondWithFallback() # 5. 无依据则拒答/转人工,杜绝编造messages = buildMessages(systemPrompt, topDocs, session, request.query)plan = callModel(messages, jsonOutput = true) # 6. 让模型决定直接答还是调工具if plan.type == "tool_call":result = invokeTool(plan.tool, plan.args, # 7. 工具调用permission = request.user.scopes,idempotentKey = request.id)messages.append(toolResult(result))answer = callModel(messages) # 8. 基于工具结果生成回答else:answer = streamGenerate(messages) # 流式返回,降低首字时延writeLog(trace, { latencyMs, tokensIn, tokensOut, docIds, rejected = false })return withCitations(answer, topDocs) # 9. 附上引用来源
2. 工具接口设计(Function Calling的后端承接)
模型的“函数调用”最终落到普通HTTP接口上,因此工具接口要按线上接口标准来设计:
{"tools": [{ "name": "query_order_status", "description": "按订单号查询订单状态","parameters": { "orderId": { "type": "string", "required": true } },"scope": "order:read" },{ "name": "create_ticket", "description": "创建售后工单","parameters": { "orderId": { "type": "string" }, "issue": { "type": "string" } },"scope": "ticket:write", "idempotent": true }]}
- 权限:模型给出参数不代表用户有权限。服务端必须根据当前登录用户做二次校验(如只能查自己的订单),防止通过提示词绕过权限;
- 幂等:写操作类工具携带幂等键,重试不会重复创建工单或重复扣款;
- 超时与熔断:工具接口超时时间要短于整体请求预算,连续失败时直接降级,避免拖垮主链路;
- 审计:谁在什么时候通过对话调用了什么工具、传了什么参数,都要留痕可查;
- 参数校验:对模型输出的参数做类型、范围、格式校验,不合格直接返回错误而不是继续执行。
3. 上线前部署清单
| 类别 | 检查项 |
|---|---|
| 网络 | 安全组最小开放、内网互通、证书有效、域名解析正确 |
| 依赖 | 数据库/缓存/对象存储/向量库连通,账号权限正确 |
| 配置 | 密钥未硬编码、维度一致、超时参数齐全 |
| 应用 | 健康检查通过、副本跨可用区、资源上下限合理 |
| 索引 | 评测集召回结果正确、增量更新生效、有索引快照 |
| 观测 | 日志、指标、链路已接入,告警规则已配置 |
| 安全 | 越权测试通过、提示词注入测试通过、敏感信息脱敏 |
| 回滚 | 上一版本镜像和配置可用、回滚演练过一次 |
八、上线验证
建议分四层验证,逐层收敛问题范围:
第一层:基础设施
- 负载均衡健康检查全部通过;
- 实例资源使用率处于合理区间,无频繁重启;
- 日志中无配置缺失、连接失败类错误。
第二层:功能与接口
- 普通问答能正常返回,并在回答末尾附上引用来源;
- 流式接口首字可正常返回,中途断开不会导致服务异常;
- 多轮对话能正确继承上下文;
- 工具调用能正确命中并返回结果;
- 越权访问被正确拒绝。
第三层:效果质量(RAG应用特有的关键一层)
| 指标 | 含义 | 验证方法 |
|---|---|---|
| 召回命中率 | 应命中的文档是否被检索到 | 用评测集比对命中文档ID |
| 回答准确率 | 答案是否与标准答案一致 | 人工抽检+自动比对 |
| 引用正确率 | 引用片段是否真正支撑答案 | 逐条核对答案与引用 |
| 幻觉率 | 回答中出现检索内容之外事实的比例 | 人工抽检,重点关注数字、日期、金额 |
| 拒答合理率 | 无依据时是否拒答、有依据时是否误拒 | 构造“库中无答案”的问题集 |
| 首字时延 / 整体时延 | 流式响应与完整响应耗时 | 压测工具统计P50/P95/P99 |
效果类指标没有统一标准,应由业务方共同确定基线,例如“评测集准确率不低于上线前的基线,幻觉率低于约定阈值”。这些基线也是后续版本能否上线的判定依据。
第四层:性能与稳定性
- 按预估峰值1.5倍压测,观察错误率和时延变化,找出拐点;
- 主动模拟故障:模型服务超时、向量库短暂不可用、某个可用区实例全部异常,验证降级和容灾是否生效;
- 观察30分钟以上,确认无内存泄漏(内存曲线平稳)、无连接泄漏(连接数不持续增长)。
九、常见问题与排查
| 现象 | 常见原因 | 排查思路 |
|---|---|---|
| 部署后502/503 | 就绪探针未通过、后端实例异常、网关超时过短 | 看实例日志和探针状态,调大网关超时 |
| 频繁重启(OOM) | 内存上限过低、长文档导致内存激增 | 查看内存曲线,限制单请求文档大小和并发 |
| 检索不到内容 | 向量维度不一致、索引未建成、切片过大 | 直接对向量库发起查询验证,检查索引任务队列 |
| 检索到但答非所问 | 阈值过低、缺少重排、切片切断语义 | 打印召回片段人工核对,调整阈值或切片策略 |
| 回答编造内容 | 缺少拒答策略、提示词约束不足 | 检查无依据场景是否触发兜底,强化“只依据给定资料回答”的约束 |
| 首字时延高 | 未启用流式、模型侧排队、网关缓冲 | 分阶段打点定位耗时,关闭流式缓冲 |
| 调用超时集中出现 | 模型服务限流、配额不足、重试放大流量 | 查看限流与配额指标,加入指数退避和熔断 |
| 冷启动慢 | 首次加载模型或建立大量连接 | 预热接口,启动时主动发起一次真实调用 |
| 知识更新后答案仍是旧内容 | 索引未重建、语义缓存未失效 | 更新文档时同步失效相关缓存,核对索引版本 |
| 401/403错误 | 密钥过期或权限不足 | 检查密钥有效期和子账号策略,启用密钥轮换 |
排查有一个通用原则:按“入口→应用→检索→模型→工具”的顺序分段定位。具体做法是在链路中埋好分段耗时和状态码,先确认问题出在哪一段,再深入该段排查,不要在整链路上盲目试参数。
十、运维与优化
1. 稳定性
- 熔断降级:模型服务异常时,返回缓存答案或预设兜底话术;工具接口异常时,提示用户稍后再试,而不是报错页面;
- 多副本跨可用区:配合负载均衡健康检查,单点故障不影响整体;
- 限流分级:普通问答和工具调用分别限流,防止工具调用挤占生成资源;
- 全链路超时:网关、编排服务、各依赖调用都要有超时设置,且外层超时大于内层超时之和,避免重试风暴。
2. 安全
- 密钥管理:集中托管、定期轮换,禁止出现在日志和异常堆栈中;
- 权限过滤前置:检索结果在进入模型之前完成权限过滤,不能指望模型“自觉不输出”无权内容;
- 提示词注入防护:把用户输入与系统提示严格分区,对“忽略以上指令”类输入做检测和隔离;
- 输入输出双向校验:输入端限制长度和格式,输出端做敏感信息与内容合规检查;
- 日志脱敏审计:对话内容按合规要求脱敏存储,保留调用链审计记录。
3. 性能
- 语义缓存:对高频相似问题缓存结果,语义相近的问题可直接复用,降低模型调用量;
- 多级缓存:检索结果缓存与回答缓存分开设置TTL,知识更新时精准失效;
- 流式输出:先返回首字,大幅改善体感时延;
- 连接池与批量向量化:避免频繁建连;索引构建阶段批量调用向量化接口,降低单位成本。
4. 扩展与成本
- 扩容判断:以队列积压、P95时延、错误率作为扩容触发指标,而不是只看CPU;
- 索引扩展:片段数量增长到千万级时,按业务线或时间做分片和冷热分离,冷数据使用低成本存储;
- 模型分级路由:简单意图用轻量模型或规则处理,复杂问题才路由到能力更强的模型;
- 上下文预算控制:限制拼装片段数量和历史轮数,token消耗往往随上下文线性增长,这也是RAG应用成本的主要来源;
- 闲置资源治理:开发测试环境定时停机,非高峰期降低副本数。
5. 可维护性
- 评测集回归:每次调整切片、提示词或更换模型,都先跑评测集,用数据而非感觉判断效果变化;
- 配置与版本可回溯:检索参数和提示词纳入版本管理,出现效果回退时能快速定位是哪次变更导致;
- 发布节奏:模型服务升级、索引重建属于高风险变更,同样走灰度流程;
- 知识运营闭环:把用户点“没有帮助”的问题、拒答问题和转人工记录汇总,定期补充到知识库,形成“问题发现—文档补充—重新索引—效果复测”的闭环。
十一、总结
回到开头那家公司:它要的是一个能把大模型工程化落地的人。RAG流程、检索优化、提示词、Agent、Function Calling、向量库选型和幻觉治理,每一个都对应明确的部署和运维环节。这些东西,搭一遍、跑一遍、压一遍,远比只看文档更有说服力。
本文梳理的部署要点如下:
- 目标:部署RAG大模型应用,对外提供稳定、可溯源、可治理的问答能力;
- 准备:权限与密钥、资源规格、依赖组件、评测集,缺一不可;
- 流程:网络→依赖→镜像→配置→启动→索引→暴露→灰度,每一步都对应明确的风险控制点;
- 验证:从基础设施到效果质量四层验证,效果类指标必须有评测集做基线;
- 运维:稳定性靠熔断降级和优雅退出,安全靠权限过滤和密钥轮换,成本靠模型分级和上下文控制;
- 演进:建立“问题发现—知识补充—重新索引—效果复测”的闭环,是RAG应用长期保持效果的关键。
如果那位同学把上面这套流程完整走一遍,他面试时能讲的就不再只是“RAG是什么”,而是“RAG怎么部署、检索准确率怎么调、幻觉怎么兜底、上线后怎么监控和扩容”。这才是应用工程岗位真正需要的能力。
对准备把大模型能力推上线的团队来说,同样如此:先把链路部署对,再把效果调准,最后把运维做扎实。这三步的顺序不能颠倒,因为一个 unstable 的服务,任何效果优化都没有意义。

登录后可评论,请前往 登录 或 注册