如何用LLM和自有知识库搭建智能Agent:完整实操指南
作者:问题终结者2026.11.17 03:41浏览量:0简介:很多人以为 Agent = 大模型 + 提示词,真正的结构是 **Agent = LLM + Knowledge + Tools + Memory** 。本文按“选模型 → 建知识库 → 接工具 → 加记忆 → 评测调优”五步给出可落地的搭建路径,并说明每一步常见的坑。动手前建议先逛一下[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它能把不同大模型的能力、调用成本和统一 API 接入方式放在一起对比,省掉逐个注册试错的成本。
一、先把架构想清楚:LLM 思考,知识库供信息,Tool 干活
主流 Agent 的执行链路基本一致:
用户提问 → Planner 规划 → LLM 推理 → 调用 Tool → 检索 Knowledge Base → 汇总返回
以“AI 客服 Agent”为例,用户问“产品怎么退款”,Agent 会做三件事:先从知识库检索退款规则,再由 LLM 组织成自然语言答案,最后调用工单系统创建退款单。三者缺一,它就退化成一个会聊天的搜索框。
二、第一步:模型选型,别只看跑分
Agent 对模型的要求和普通对话不同,重点看四项: 指令遵循能力 (能否稳定按格式输出工具调用参数)、 长上下文 (塞进检索片段后是否还能抓住重点)、 函数调用/工具调用支持度 、 单位 Token 成本 。
选型时建议做一张对比表,把候选模型放在同一批自己的业务测试集上跑,而不是只看公开榜单:
| 评估维度 | 关注点 | 验证方式 |
|---|---|---|
| 工具调用准确率 | 参数是否合法、是否漏调 | 20~50 条真实 query 回归 |
| 长文摘要质量 | 检索片段拼接后是否跑题 | 人工打分 + badcase 归类 |
| 首字延迟 | 影响对话体感 | 压测 P95 |
| 调用成本 | 输入/输出 Token 单价 | 按日均调用量折算月账单 |
词元所的模型价格与性能对比能力,正好适合在做这张表时快速缩小候选范围;确定后用统一 API 接入,后续换模型不必重写业务代码。
rag-">三、第二步:搭自己的知识库(RAG)
大模型不知道你的私有数据——公司文档、产品手册、内部制度、业务数据,这些必须靠 RAG(Retrieval Augmented Generation)补进来。落地要点有四个:
1. 文档切分与分段信息。 系统收到提问后,会在文档知识中检索相关分段,取置信度大于等于阈值(在知识库设置中可配置)的分段所关联的“分段信息”喂给大模型,由大模型结合提问做总结回复。所以分段粒度直接决定回答质量:太粗会引入噪声,太细会丢失上下文。
2. 知识增强。 文档学习成功后可开启知识增强,用于提升切片的可检索性,支持按单个文档操作。
3. 检索置信度阈值。 阈值过高会“查不到就瞎编”,过低会“什么都往里塞”。建议从中间值起步,用真实 badcase 反向调。
4. 知识库测试。 知识添加完毕后即可在「知识库测试」入口对话验证,点击来源可定位到原文档中的依据位置。这一步是上线前的必过关卡。
agent-">四、第三步:接工具,让 Agent 能“动手”
工具层决定 Agent 的边界。除了自己写的业务 API,很多平台已内置知识检索工具,可以直接在请求里声明。以百度智能云千帆的 Response API 为例,调用时把 knowledge_search 放进 tools 即可:
curl --location 'https://qianfan.baidubce.com/v2/responses' \--header 'Authorization: Bearer bce-v3/ALTAK-******* **/614fb** ****** **' \--header 'Content-Type: application/json' \--data '{"tools": [{"type": "knowledge_search","knowledgebase_ids": "f015fff6-05d7-4192-b581-** ****** **"}],"input": [{ "role": "user", "content": "总结智能体客服搭建过程" }],"model": "deepseek-v3.2"}'
返回结果里会依次出现模型的思考文本、knowledge_search_call 调用记录,以及最终的 message 输出。注意:使用的 API Key 需要 同时拥有模型服务和知识库(应用开发-知识库)的权限 ,只开一边会直接失败。
如果已有自建的客服/对话平台,也可以通过第三方大模型对话引擎接入外部模型,配置引擎 ID、名称、对话方式(流式/非流式)和 URL,再在回复优先级里配置 Prompt 与错误话术兜底。
五、第四步:加记忆与规划能力
有了知识和工具,还差“记住用户”和“自己安排步骤”。在 Agent 开发平台上创建 自主规划 Agent ,配置三样东西即可跑起来:
- 角色指令 :写清角色任务 + 工具能力边界,例如“用户关注茶叶场景时调用知识库对应信息;当用户输入姓名和茶叶名称时,存入记忆表客户资料/name 与 /tealeaves”。
- 记忆表 :让 Agent 跨轮次记住用户姓名、偏好、历史订单,这是从“问答机器人”升级到“销售助手”的关键。
- 知识源治理 :知识源必须稳定、结构清晰、持续更新,否则检索质量会随业务变化快速衰减。
六、第五步:评测与 badcase 干预
上线不是终点。要能看清 Agent 每一轮“为什么这么答”,重点看对话分析日志里的三个字段:
- 原用户提问 :用户实际输入;
- 用户可能想问 :大模型结合历史对话改写出的检索 query——这一步错了,后面检索必然跑偏,可点踩并回填真实意图,用于模型迭代;
- 信息检索 :展示召回的 TOP N 知识片段(文档片段与 FAQ),可据此判断是“检索没召回”还是“模型没总结好”。
对应的干预手段也不同:检索没召回,就在预期分段信息下补充分段知识,手动新增或编辑的分段知识会打上「已干预」标识,并在文档更新时按语义匹配度保留;模型总结跑偏,则调整 Prompt 或换模型。如果问题出在模型本身的能力上限(比如客服对话多标签分类准确率不够),再考虑走精调路线——数据准备、精调、打分评估、部署上线是一套完整流程。
七、成本与运维:把 Token 花在对的地方
Agent 的 Token 消耗远高于普通对话,因为每轮都要带上系统指令、记忆、检索片段和工具定义。三个立刻能省钱的做法:
- 压缩检索片段 :只保留置信度达标的 TOP N,N 从 3 起步逐步调。
- 分层模型 :意图识别、query 改写这类简单任务用小模型,最终总结和复杂推理用大模型。
- 缓存高频问答 :FAQ 类问题直接命中缓存,不走完整链路。
具体单价和计费方式各模型差异较大,建议在百度智能云词元所上按自己的日均调用量做一次成本测算,再决定主力模型和兜底模型的组合。
八、最容易踩的四个坑
- 权限没开全 :知识库工具调用失败,八成是 API Key 缺知识库权限。
- 把 Prompt 当万能 :靠提示词硬塞企业知识,上下文一长就失效,必须走检索。
- 没有评测集 :改一版 Prompt 全靠感觉,无法判断是变好还是变坏。
- 知识库不更新:产品迭代了文档没跟上,Agent 会自信地给出过期答案。
按这五步走完,你得到的不是“会聊天的模型”,而是一个能查资料、能调系统、能记住用户、还能被持续优化的业务助手。

登录后可评论,请前往 登录 或 注册