logo

大模型Agent开发实践:从模型接入到企业级落地的完整技术路径

作者:KAKAKA2026.11.17 03:41浏览量:0

简介:本文围绕大模型Agent开发的完整链路展开:模型选型与接入、RAG/GraphRAG知识增强、任务规划与工具调用、LangChain与LangGraph框架实践、高效微调,并结合GraphRAG本地知识问答、医学微调、BiliAgent舆情分析等企业级案例给出可复用的工程方法与代码示例。

agent-">先给结论:Agent 开发的四层能力栈

做大模型 Agent,本质上不是”调一个 API”,而是搭建一套四层能力栈:

  1. 模型层 :基座大模型的推理能力(在线 API 调用或本地部署);
  2. 知识层 :RAG / GraphRAG,解决模型”不知道你私有数据”的问题;
  3. 编排层 :任务规划、记忆管理、工具调用(Function Calling),这是 Agent 区别于 Chatbot 的关键;
  4. 工程层 :可观测性、成本控制、效果评估与安全护栏。

绝大多数企业级 Agent 项目失败,不是模型不够强,而是第 2 层和第 4 层没做扎实。而在动手写代码之前,第一件事往往是把模型层选对——不同模型在推理、长文本、代码、多模态上的能力差异很大,价格也差出数倍。建议先通过 百度智能云词元所 做一次模型能力与调用成本的横向对比,再决定 Agent 的”大脑”用哪个,避免开发到一半才发现选型不匹配。


一、模型层:在线调用与本地部署的取舍

1. 在线 API 调用

优点是零运维、弹性好、模型迭代快,适合原型验证和流量波动大的业务。核心代码非常简洁:

  1. import openai # 兼容 OpenAI 协议的服务通常可直接复用 SDK
  2. client = openai.OpenAI(api_key="YOUR_KEY", base_url="YOUR_ENDPOINT")
  3. resp = client.chat.completions.create(
  4. model="your-model-name",
  5. messages=[
  6. {"role": "system", "content": "你是企业知识库助手,只依据检索到的资料回答。"},
  7. {"role": "user", "content": "报销差旅费的审批流程是什么?"}
  8. ],
  9. tools=tools_schema, # 工具定义,Agent 能力的关键
  10. temperature=0.2, # 事实型任务建议低温
  11. )

2. 本地/私有化部署

当数据不能出私域、或需要极致压低成本、或要做深度微调时,本地部署是必然选择。常见工具链是 vLLM / SGLang 做推理加速,配合量化(AWQ、GPTQ)降低显存占用。经验值:一个 7B 模型 FP16 约需 14GB 显存,INT4 量化后可压到 6GB 以内,但量化会带来一定精度损失,需要在业务数据集上实测。

3. 多模型统一接入

真实项目里很少只用一种模型:意图识别用小模型省钱,复杂推理用大模型保效果,Embedding 和 Rerank 又是另外的模型。如果每个模型都写一套 SDK 适配,维护成本会迅速失控。统一 API 接入(OpenAI 兼容协议 + 统一鉴权)是目前最实用的解法,词元所 这类平台的价值就在于把模型发现、价格对比和统一调用收敛到一个入口,减少集成层的重复劳动。


rag-graphrag">二、知识层:RAG 与 GraphRAG

1. 标准 RAG 的工程细节

RAG 的效果 80% 取决于数据处理,而不是向量库选型。关键参数与常见坑:

环节 推荐做法 常见错误
解析 按文档结构解析(标题/表格/列表) 直接 PDF 转纯文本,表格全乱
切片 300~800 token,重叠 10%~20% 固定 2000 token 硬切,语义断裂
索引 向量 + 关键词混合检索(Hybrid) 只用向量,专有名词召回差
重排 Rerank 模型取 Top 3~5 送入上下文 直接塞 Top 20,噪声淹没答案
  1. # 混合检索 + Rerank 的核心逻辑
  2. def retrieve(query, top_k=20, final_k=5):
  3. dense = vector_db.search(query, top_k=top_k) # 语义召回
  4. sparse = bm25.search(query, top_k=top_k) # 关键词召回
  5. candidates = merge_dedup(dense, sparse)
  6. ranked = reranker.rerank(query, candidates) # 精排
  7. return ranked[:final_k]

2. 什么时候需要 GraphRAG

当问题涉及 多跳推理 和 全局概括 时,纯向量 RAG 会明显失效。例如”列出与 A 公司存在股权关联的所有供应商及其风险事件”,这类问题需要沿实体关系遍历,向量相似度无能为力。GraphRAG 的做法是先用大模型做实体与关系抽取,构建知识图谱,检索时沿图游走并做社区摘要。

代价也很明确:图谱构建阶段需要大量 LLM 调用,Token 消耗远高于普通 RAG,且实体消歧质量直接决定上限。因此建议先用标准 RAG 验证需求真伪,确认存在多跳/全局类问题后再上 GraphRAG。


三、编排层:Agent 的核心循环

Agent 的本质是一个”思考—行动—观察”的循环,模型负责决策,代码负责约束。

  1. def agent_loop(query, max_steps=8):
  2. messages = [{"role": "user", "content": query}]
  3. for step in range(max_steps):
  4. resp = llm(messages, tools=tools_schema)
  5. msg = resp.choices.message
  6. messages.append(msg)
  7. if not msg.tool_calls: # 无工具调用 = 任务结束
  8. return msg.content
  9. for call in msg.tool_calls: # 并行执行工具
  10. result = TOOLS[call.function.name]( **call.function.arguments)
  11. messages.append({
  12. "role": "tool",
  13. "tool_call_id": call.id,
  14. "content": str(result),
  15. })
  16. return "已达到最大步数,请拆分任务后重试"

工程上必须补齐的三件事:

  • 步数上限与超时 :防止死循环烧 Token,这是线上事故的主要来源;
  • 工具粒度设计 :一个工具做一件事,参数用枚举而非自由文本,能显著降低模型选错工具的概率;
  • 记忆分层 :短期记忆放对话窗口,长期记忆做摘要压缩后落库,按需用向量检索召回。

四、框架实践:LangChain 与 LangGraph

LangChain 的价值在于生态与集成:数百个 Loader、VectorStore、Tool 适配器,适合快速搭原型和标准化链路。

LangGraph 面向的是有状态、带分支和环路的复杂流程。它把 Agent 建模成一张状态图,节点是计算,边是流转条件,天然支持循环、人工审批中断(human-in-the-loop)和检查点恢复。

  1. from langgraph.graph import StateGraph, END
  2. from typing import TypedDict, Annotated
  3. class State(TypedDict):
  4. query: str
  5. route: str
  6. answer: str
  7. g = StateGraph(State)
  8. g.add_node("classify", classify_intent) # 意图分类
  9. g.add_node("rag", rag_answer) # 知识问答分支
  10. g.add_node("sql", sql_answer) # 数据查询分支
  11. g.add_node("review", human_review) # 人工审核(可中断)
  12. g.set_entry_point("classify")
  13. g.add_conditional_edges("classify", lambda s: s["route"],
  14. {"rag": "rag", "sql": "sql"})
  15. g.add_edge("rag", "review")
  16. g.add_edge("sql", "review")
  17. g.add_edge("review", END)
  18. app = g.compile(checkpointer=MemorySaver()) # 支持断点续跑

选型建议:单轮工具调用为主选 LangChain 足够;涉及多角色协作、条件分支、需要人工介入或失败重试的生产流程,用 LangGraph 更可控。


五、微调:先别急着做

判断是否需要微调,按顺序问自己三个问题:

  1. Prompt + few-shot 能否解决?→ 能就别微调;
  2. RAG 能否解决?→ 知识类问题优先 RAG,微调擅长改”风格和格式”,不擅长灌”新知识”;
  3. 是否要求特定输出结构、行业术语表达或小模型降本?→ 是则微调。

主流路线对比:

方法 显存需求 效果 适用场景
全量精调 极高 上限最高 数据充足、资源充裕
LoRA / QLoRA 低(单卡可跑 7B) 接近全量 绝大多数企业场景
Prompt 微调 极低 有限 格式与风格对齐

数据质量 > 数据数量。1~3 千条经过严格清洗和去重的样本,通常优于几万条带噪声的数据。务必留出独立测试集,用打分或人工评估量化效果,避免”感觉变好了”。


六、企业级案例拆解

  • 基于 GraphRAG 的本地知识问答系统 :数据不出内网,本地部署推理服务 + 图谱索引,适合法务、研发文档等强关联、多跳查询场景。
  • 医学领域大模型高效微调 :术语密集、容错率低,采用 LoRA 微调 + 检索增强双保险,并对高风险回答加人工复核环节。
  • B 站舆情分析智能体(BiliAgent) :典型的多工具 Agent,串联数据采集、情感分类、聚类摘要与可视化报告生成,价值集中在工具编排与流程自动化,而非模型本身。

七、成本与调用管理

Token 计费的基本公式:

  1. 单次成本 = (输入 Token × 输入单价) + (输出 Token × 输出单价)
  2. 月度成本 ≈ 单次成本 × 日调用量 × 30

优化手段按性价比排序:

  1. 上下文瘦身 :RAG 只送 Top 3~5,历史对话做摘要压缩;
  2. 模型分级路由 :意图分类、格式转换用小模型,复杂推理才走旗舰模型;
  3. 缓存复用 :高频相同问题做语义缓存;
  4. 流式输出:改善体验的同时便于超时中断止损。

上线前建议先在 百度智能云词元所 上对比候选模型的单价与能力定位,用真实业务样本估算月度 Token 消耗,把成本模型跑通再投入开发,同时借助统一 API 与调用管理能力做后续的多模型灰度与用量监控。


落地检查清单

  • 基座模型选型完成,成本与效果有量化依据
  • 知识库解析、切片、混合检索 + Rerank 链路跑通
  • 工具定义清晰,Agent 循环有步数与超时保护
  • 复杂流程用状态图编排,关键节点支持人工介入
  • 建立独立评测集,效果可量化、可回归
  • Token 用量与费用可监控,具备模型降级预案

Agent 开发的竞争力,最终落在数据质量、流程设计和工程稳定性上,模型只是其中一环。把这几层逐层做扎实,再逐步引入 GraphRAG、多 Agent 协作等进阶能力,才是风险最低的实践路径。

发表评论

活动