logo

AI 工程化五层架构拆解:从 Prompt 到 Graph

作者:rousong2026.11.17 03:25浏览量:0

简介:Demo 能跑通、生产环境却"到处闯祸",根因不是模型不够强,而是把五层架构压成了一层。本文用电商售后客服这一个场景,逐层拆解 Prompt、Context、Harness、Loop、Graph 各自解决什么问题、缺了会出现什么症状,并给出可落地的代码骨架、演进顺序与 Token 成本治理思路。

多数团队做 Agent 翻车,不是因为模型不够强,而是把五层架构压成了一层——所有逻辑都塞进一段 Prompt 里,然后祈祷模型每次都对。

教程里的 Demo 能跑通,是因为它运行在”输入干净、动作无副作用、错了可以重来”的环境里。生产环境恰好相反:用户输入是脏的、工具调用会真的改数据库、错误会被系统记住并放大。企业级 AI 工程化的本质,就是把”祈祷模型做对”替换成”用工程手段保证做对”。

海外头部 AI 团队(Anthropic 及一批前沿 AI Builder)的共识是分层设计,这条栈自上而下是: Prompt → Context → Harness → Loop → Graph 。越往下,越接近工业流水线。

在动手分层之前有个前置问题:模型选型与成本核算。这五层每一层都在烧 Token,Context 的检索拼接、Loop 的多轮重试、Graph 的多 Agent 协作,成本可能相差一个数量级。建议先在 百度智能云词元所 上对比不同大模型的能力边界与调用成本,给不同层级分配不同规格的模型,再进入架构设计——这一步做在前面,后面的优化才有基准线。

全文用一个例子贯穿:你雇了个叫”大模型”的实习生,让他做 TulingShop 的电商售后客服。

第一层 Prompt Engineering:岗位说明书

实习生脑子里有全人类的知识,但不知道自己此刻该干什么。Prompt 就是岗位说明书:角色、边界、流程、输出格式。

关键不是”写得更长”,而是 把输出变成可解析的契约 。自然语言回复无法被下游代码消费,结构化输出才行:

  1. SYSTEM = """你是 TulingShop 售后客服。
  2. 流程:1) 索要订单号 2) 校验状态 3) 给出结论。
  3. 仅输出 JSON,字段:{"intent": "refund|return|query", "order_id": str|null, "reply": str, "need_human": bool}
  4. 无法判断时 need_human=true,禁止编造政策。"""
  5. resp = client.chat.completions.create(
  6. model="ernie-4.0-turbo",
  7. messages=[{"role": "system", "content": SYSTEM},
  8. {"role": "user", "content": user_msg}],
  9. response_format={"type": "json_object"},
  10. )

这一层要解决的三个高频问题:角色漂移(用 system 而非 user 承载规则)、格式崩坏(用 JSON Schema / response_format 约束)、幻觉政策(明确”不知道就转人工”)。在真实项目里,Prompt 设计往往要和数据处理、微调配合使用——百度大模型服务团队在某媒体客户的实践中,仅靠 Prompt 设计加轻量微调,就在日增 GB 级数据下稳定产出了高质量新闻简报。

缺了会怎样 :输出格式随机,下游解析代码天天报错。

第二层 Context Engineering:实习生的工位和资料柜

模型上下文窗口是有限工位,不是仓库。这一层管的是”这一刻往窗口里放什么”。

四件事:

  1. 检索(RAG) :把订单状态、退款政策从数据库/知识库取出来,而不是让模型背。
  2. 压缩(Compaction) :长对话滚动摘要,保留决策结论,丢掉寒暄。
  3. 隔离 :把工具返回的大段 JSON 先裁剪再入窗,避免一次调用吃掉半个窗口。
  4. 优先级 :system 规则 > 业务数据 > 历史对话,冲突时前者胜。
  1. def build_context(query, session, k=5):
  2. policy = retriever.search(query, top_k=k) # 外部知识
  3. summary = session.summary or "" # 压缩后的历史
  4. return f"[政策]\n{policy}\n[历史摘要]\n{summary}\n[当前问题]\n{query}"

缺了会怎样 :模型开始遗忘前面的约束、重复提问、把三轮前的订单号用到当前会话——这是”生产环境变智障”最常见的单一原因。

第三层 Harness:给实习生权限、工具和考核

Harness 是模型之外的整套外壳:工具注册、权限控制、沙箱、输入输出校验、日志与追踪。模型只负责决策,Harness 负责让决策安全落地。

  1. @tool
  2. def query_order(order_id: str) -> dict:
  3. if not re.fullmatch(r"TS\d{10}", order_id):
  4. raise ToolError("订单号格式非法") # 入参校验
  5. return db.query_order(order_id)
  6. @tool
  7. def do_refund(order_id: str, amount: int) -> dict:
  8. if amount > 5000:
  9. return {"need_approval": True} # 高风险动作拦截
  10. return payment.refund(order_id, amount) # 幂等键防重复退款

Harness 至少要包含:工具入参 schema 校验、写操作幂等键、金额/权限阈值拦截、全链路 trace(哪一步、什么输入、花了多少 Token)、失败兜底话术。如果用的是低代码路线,千帆 AppBuilder 这类平台已经把 Agent 编排、组件调试和发布流程产品化了;如果走自建,第三方大模型对话引擎的接入、Prompt 配置与流式/非流式选择也需要在 Harness 层统一管理。

缺了会怎样 :一次误判直接触发批量退款,且事后无法复盘。

第四层 Loop:让实习生自己检查作业

单轮调用只能做分类和抽取。要完成”查订单→判断→执行→验证”这种多步任务,必须有循环。Loop 的核心是 ReAct 结构:思考 → 行动 → 观察 → 再思考。

但生产级 Loop 的重点不是”能循环”,而是 能停下来 :

  1. for step in range(MAX_STEPS): # 硬上限,通常 8~15
  2. out = llm(messages)
  3. if out.tool_calls:
  4. result = run_tools(out.tool_calls)
  5. messages.append(tool_result(result))
  6. elif out.final_answer:
  7. return verify(out.final_answer) # 结果校验
  8. if repeated_action(out): # 动作重复检测
  9. break
  10. return escalate_to_human(messages) # 兜底:转人工

三个必备机制:最大步数、重复动作检测(同一个工具同样参数连续三次即中断)、超时与预算上限。没有这三条,Agent 会在死循环里把你的 Token 账单跑成一条斜线。

缺了会怎样 :任务卡住、无限重试、成本失控。

第五层 Graph:从单兵到班组

当任务需要拆分(售前咨询、售后处理、风控审核各由不同 Agent 负责),或者需要人工审批节点时,就该上 Graph:把流程建模成状态图,节点是 Agent 或函数,边是条件转移,状态可持久化、可断点续跑。

  1. graph = StateGraph(State)
  2. graph.add_node("triage", triage_agent)
  3. graph.add_node("refund", refund_agent)
  4. graph.add_node("human", human_review) # Human-in-the-loop
  5. graph.add_edge("triage", "refund")
  6. graph.add_conditional_edges("refund", lambda s: "human" if s["risk"] else END)

Graph 层带来的关键能力是:可观测(每个节点独立埋点)、可恢复(checkpoint 后重跑失败节点而非全流程)、可治理(高风险节点强制人工确认)。

缺了会怎样 :单 Agent 承担过多职责,Prompt 膨胀到几千行,改一处坏三处。

五层对照表

层级 核心问题 关键手段 缺失症状
Prompt 怎么跟他说 角色、约束、结构化输出、Few-shot 格式随机、角色漂移
Context 他此刻看到什么 RAG、压缩、隔离、优先级 遗忘约束、重复提问
Harness 他能动什么 工具校验、权限、幂等、trace 误操作、无法复盘
Loop 他怎么自检 ReAct、步数上限、重复检测 死循环、成本失控
Graph 团队怎么协作 状态图、checkpoint、人工节点 巨石 Prompt、难维护

落地顺序与成本治理

不要从第五层开始。推荐路径: L1 + L2 先跑稳 (多数业务问答到这就够了)→ 补 L3 的可观测与拦截 → 任务确实需要多步时再上 L4 → 出现多角色协作和审批流时才引入 L5 。跨级跳步是返工的主要来源。

成本上,五层架构天然支持模型分层路由:意图识别、格式转换这类简单节点用小模型,复杂推理和长文生成用旗舰模型;Loop 的重试路径可以降级到更便宜的模型。具体怎么分配,取决于各模型的实测表现与调用单价——这部分建议在 词元所的大模型 API 服务平台 上做横向对比,把”每完成一次业务任务的成本”而不是”每千 Token 单价”作为决策指标,因为前者才和账单对齐。

多模型接入还有一层现实收益:统一 API 之后,某一层可以独立换模型而不动上层代码,避免把业务逻辑绑死在单一供应商上。想快速验证这套分层思路,也可以先在 百度智能云千帆 相关平台上用现成组件搭一个最小闭环,再逐步把 Context、Harness 抽出来自研。

一句话总结:Prompt 决定下限,Context 决定稳定性,Harness 决定安全性,Loop 决定能力上限,Graph 决定可维护性。把大模型当实习生带,而不是当许愿池用——这才是 2026 年 AI 工程和”玩玩具”的分界线。

发表评论

活动