AI Agent时代:应用层胶水代码与业务逻辑解耦对比
作者:十万个为什么2026.11.18 11:52浏览量:0简介:当应用层只剩胶水代码,业务规则却变得难测、难审计,是AI Agent落地时的常见困惑。本文对比“提示词与Agent编排承载的隐式逻辑”和“代码承载的显式逻辑”两类方案,从架构、确定性、测试、安全、成本与运维等维度拆解差异。文章还分析了temperature设为0时输出仍变化的原因,并给出分场景选型建议、迁移注意事项,以及应重点构建的四层能力。
一、对比背景:当应用层只剩下“胶水代码”
有个流传很广的工程比喻:工匠会在建筑完成后拆去脚手架。过去,围绕数据库搭建的应用层承载着大量业务逻辑,比如字段校验、状态流转、额度计算、权限判断、审批分支。这些代码就是业务系统的“脚手架”:虽然琐碎,却决定了系统行为的边界。
生成式模型进入生产环境后,应用层的职责正在被迅速抽空。一个典型Agent应用大致是这样组织的:
- 输入校验、身份鉴权、工具调用、结果写库、日志记录,这些“粘合”工作仍由代码完成;
- “这个请求该走哪个流程”“金额是否异常”“回复语气是否合适”等判断,则被移入提示词与模型推理过程。
这就是“胶水代码化”:应用层退化为一组调用与数据搬运的管道,业务逻辑的重心转向了不可直接阅读的上下文与权重。
在参加了一系列AI相关主题的交流后,我梳理出几个引发争议的问题:
- 态度与投入:“重视AI”与真正参与预训练之间是什么关系?一位新能源汽车企业创始人曾在播客节目中提到:在AI相关的行业会场,他问在场数百位企业家有多少投入了预训练,只有三四个人举手;真正参与后训练的也很少,更多企业停留在套用现成模型。
- 芯片定位:公开资料显示,车载辅助驾驶芯片算力为数百TOPS量级,售价通常在数百美元;面向数据中心的大规模训练加速卡,单卡算力可达前者的几十倍以上,价格也高出许多。差异源于训练追求极致吞吐、不受功耗与散热约束,车端推理则受功耗、成本和实时性约束。
- 效果收益:一位消费电子企业创始人曾提到,过去三十年全球每年培养约一千名NLP博士,数万人按任务拆分出的许多细分创新,在大模型出现后意义被大幅削弱。这背后是规则工程与统计学习两种范式的此消彼长。
- 输出确定性:如果Embedding、Attention各投影矩阵、前馈网络与线性层的权重在训练后已固定,位置编码、残差相加、归一化等计算也确定,为什么temperature设为0、输入完全相同时,输出仍可能变化?
这些问题指向同一个判断:模型能力分层之后,“重视”必须落到具体层面才有意义;而当业务逻辑从代码迁移到提示词与权重,应用层就只剩胶水,原有工程约束也会随之松动。因此,与其争论“AI是否泡沫”,不如回答:应用层只剩胶水代码时,我们该构建什么?
本文对比两类业务逻辑承载方式,但对比的并不是“传统架构与Agent架构”,而是两种具体的架构选择:
- 方案A:胶水式承载——业务规则主要写在提示词、Agent编排与工具描述中,由模型在推理时解释和执行,应用层只负责调用、鉴权与数据落库;
- 方案B:显式业务逻辑承载——规则以领域模型、状态机、规则集或流程编排的形式固化在代码与配置中,模型只负责语义理解与内容生成等确定性较低的部分。
两者都在Agent时代使用,区别不在于“用不用模型”,而在于关键判断放在哪里、由谁来保证正确。
二、对比对象定义
方案A:胶水式承载(规则在上下文里)
以“订单审核Agent”为例,系统提示词写明“金额超过客户授信额度或订单状态异常时拒绝”,模型按需调用额度、订单、风控等工具获取信息,再自行给出结论。应用层只做三件事:转发请求、代理工具调用、写入结果。规则以自然语言分散在系统提示词、工具描述、示例对话与检索到的知识文档中,模型在每次推理时临时“解释”这些规则。
方案B:显式业务逻辑承载(规则在代码里)
同一个审核场景,额度校验、状态机流转、风控阈值由确定性服务完成,Agent只处理其中模糊的部分,比如把用户的自然语言描述解析为结构化申请字段、总结驳回理由、生成通知文案。规则的唯一来源是代码与配置,输入相同时,同一版本下输出一致,可回放、可回归测试。
可以用伪代码直观对比。方案B中,规则是可直接断言的代码:
# 伪代码:方案B,规则在代码中def review(order, credit):if order.status not in ("PENDING", "RETRY"):return "REJECT", "order_state_invalid"if order.amount > credit.limit(order.customer_id):return "REJECT", "credit_exceeded"if risk_score(order) >= RISK_THRESHOLD:return "REVIEW", "risk_hit"return "APPROVE", ""
方案A中,规则只是上下文里的一段文字,模型每次“重新理解”一遍:
# 伪代码:方案A,规则在提示词中system_prompt = """你是订单审核助手。请先查询订单状态与授信额度,若金额超出授信额度或订单状态异常,应拒绝并说明原因。"""result = agent.run(system_prompt, tools=[get_order, get_credit, get_risk])# 无法直接断言“规则被执行”,只能观察输出是否“看起来对”
差别很清楚:前者的规则是代码的分支,后者的规则是模型眼中的“参考材料”。
三、相同点:两者解决的是同一类问题
- 目标一致:都要把用户意图转化为系统可执行的动作,并按业务规则返回结果。
- 基础能力依赖相同:都需要模型能力、工具与数据接口、身份认证、日志监控、评测体系和权限控制。方案B同样需要模型做语义解析和生成,方案A也必须有确定性工具作为“手和脚”。
- 对上下文质量敏感:方案B的语义解析依赖模型理解用户描述,方案A更是“上下文决定行为”。检索不到正确知识,提示词写得再精细也无法弥补。
- 都需要版本管理:代码需要版本控制,提示词、工具描述、few-shot示例同样应纳入版本管理。否则线上效果无法追溯,问题也无法复现。
- 都绕不开模型的不确定性:方案B中,被模型处理的那部分同样存在下面要讨论的浮点非确定性;方案A则把不确定性放大到了整个决策链路上。
四、核心差异分析
4.1 技术架构:规则的位置与系统边界
| 架构要素 | 方案A:胶水式承载 | 方案B:显式承载 |
|---|---|---|
| 规则位置 | 提示词、工具描述、示例、知识文档 | 领域模型、状态机、规则集、流程编排 |
| 应用层职责 | 转发、鉴权、代理调用、写库 | 同左,外加规则执行与决策拦截 |
| 核心依赖 | 模型推理服务、上下文检索、Agent运行时 | 规则引擎或流程编排组件、领域服务、数据访问层 |
| 故障传播 | 模型效果下降会直接传导为业务结果错误 | 规则部分不受模型质量波动影响 |
| 系统边界 | 边界模糊,难判断某条规则由谁保证 | 边界清晰,每个模块有可定义契约 |
方案A的耦合更低:新增一个业务能力,往往只需补充提示词与工具;调整规则也只是修改文字,不需要发版。代价是行为边界模糊:很难回答“某个具体请求为什么被拒绝”“规则变更是否影响存量流程”。
方案B的耦合更高,但边界清晰。规则模块对外是稳定契约:输入结构固定,输出可枚举。可以对其独立压测、灰度和回滚,故障影响范围可控。
4.2 确定性与可复现性:为什么temperature为0,输出仍可能变化
这是原始素材中最值得追问的一点。理论上,模型权重固定、所有计算过程确定,贪心解码应得到唯一输出。工程上并非如此,原因主要来自四个方面:
(1) 输入并非真正固定。 工具返回值可能随时间、库存、检索结果变化;上下文窗口截断、多轮历史、输出解析失败后的自动重试,都会改变实际进入模型的token序列。即使采样策略固定,模型也是“在不同输入上重复计算”。
(2) 浮点运算不满足结合律。 浮点加法顺序不同,结果可能有微小差异。实际部署中,同一请求的批次大小、并发数、序列长度、并行切分方式、GPU算子选择、推理引擎与驱动版本都会影响归约顺序,进而让logits出现极小偏移。当两个候选token概率非常接近时,极小的偏移就可能让argmax选择不同,后续生成随即分叉。这通常被称为推理系统的“批不变性”问题。
(3) 并行与MoE路由。 张量并行的通信归约顺序、专家混合模型的专家路由与跨卡通信,都会引入随运行配置变化的数值差异。
(4) 混合精度与版本漂移。 低精度数值格式、量化方式、框架优化以及模型服务端的版本更新,都会改变计算结果。temperature=0只是把采样策略固定为“每步取最大概率”,并不能固定整条计算链的数值结果。
因此,temperature=0只能理解为“低随机性”,不能理解为“确定性执行”。工程上有几点含义:
- 需要复现线上问题时,必须同时记录模型版本、推理参数、工具返回与完整上下文,而不只是请求参数;
- 对需要一致性的环节,应尽量缩小输入变化范围,对输出做结构化解析与二次校验;
- 如果业务要求“同一输入必须得到同一决策”,就不应让关键判断只依赖模型输出,这正是方案B的价值所在。
4.3 可测试性:断言规则还是评估效果
方案B中,每条业务规则都能写成单元测试:
# 伪代码:对规则做断言def test_reject_when_credit_exceeded():order = make_order(amount=12000, status="PENDING")credit = FakeCredit(limit=10000)assert review(order, credit) == ("REJECT", "credit_exceeded")
方案A很难这样做。规则写在提示词里,测试只能靠离线评测:准备包含边界样例的数据集,定义通过标准,统计通过率。评测天然是概率性的,只能回答“多少比例的样例通过”,无法保证“所有情况下都不出错”。
方案A还需要覆盖更多输入形态:提示词被改写、工具返回异常、检索结果偏离主题。这要求评测集不断扩充,评测成本随业务复杂度上升。方案B的测试成本则主要集中在模型参与的那一段语义解析,范围小得多。
4.4 可维护性与变更成本
| 维护维度 | 方案A | 方案B |
|---|---|---|
| 变更方式 | 修改提示词或知识文档,部分场景无需发版 | 修改代码或规则配置,走研发与发布流程 |
| 变更影响评估 | 困难,依赖评测集覆盖度 | 相对容易,可定位受影响规则与分支 |
| 上下文增长 | 规则、示例、工具描述持续堆积,长上下文推高成本与延迟,也可能稀释关键指令 | 模型上下文相对精简,主要承载输入与中间结果 |
| 提示词漂移 | 上游模型升级后行为可能偏移,需回归验证 | 规则不受模型升级影响,仅需验证语义解析部分 |
| 知识更新 | 更新文档较容易,但模型对文档的遵循程度不稳定 | 需代码变更,但行为确定 |
不少团队会把策略、提示词与知识文档从代码中抽出,配置化后热更新,看起来更接近方案A的低成本优势。但配置化改变的是存储形式,执行路径仍是确定的,本质属于方案B,只是把规则从代码搬到了配置。
4.5 安全与合规
方案A面临的风险:
- 指令注入:用户输入或检索文档中夹带恶意指令,可能诱导模型绕过原始规则。规则以自然语言表达,边界本身模糊,防御更依赖输入侧与输出侧的双重过滤;
- 越权操作:当模型可自主决定调用哪些工具,仅靠提示词“不许执行高风险操作”约束不可靠。需要工具级权限控制、敏感操作二次确认、操作白名单和完整审计;
- 审计与解释:规则藏在上下文里,事后难以还原“为什么做出这个决策”,满足合规要求的审计成本高。
方案B的优势:
- 规则在代码中,敏感操作的权限判断落在确定性分支上,可单元测试、可审计;
- 数据脱敏、字段级权限、操作审批可以按规则执行,不依赖模型的“配合”。
方案B并非没有风险。语义解析模型可能被诱导输出错误结构,需要schema校验与取值范围约束;提示注入仍可能影响生成内容,只是不太容易突破规则层。
在涉及资金、授信、医疗建议、个人信息处理等场景时,若团队合规要求较高,通常更倾向于把关键决策放在方案B,并用模型承担辅助性工作。在百度智能云这类云平台场景中,通常会以身份认证与权限控制服务、日志审计、监控告警等通用能力,配合敏感数据脱敏与操作留痕来落地这些要求。
4.6 性能与成本结构
- 延迟:方案A每个决策都至少需要一轮模型推理,决策路径越长,调用轮次与工具往返越多,端到端延迟越高。方案B的规则执行通常是毫秒级本地计算,只有语义解析环节需要模型推理。
- 成本构成:方案A的主要成本是token消耗,上下文随规则、示例、工具描述和检索结果增长而膨胀。方案B的成本集中在模型调用量较小的环节,规则执行本身边际成本极低。
- 弹性与容量:方案A的容量受模型推理服务并发与限流约束,需要针对峰值做弹性规划。方案B主要压力在规则服务与数据访问层,可通过常规的负载均衡与水平扩容解决。
- 人力成本:方案A前期开发快,但提示词调优、评测集建设和效果回归需要长期投入;方案B前期需要领域建模与规则梳理,后期维护成本相对可控。
4.7 运维与可观测性
方案A要监控的不只是服务可用性,还有效果指标:工具调用成功率、结构化输出解析失败率、人工干预率、用户纠错率、平均推理轮次。当效果下滑时,需要能定位到是哪个提示词版本、哪个模型版本、哪类输入导致的,这要求把完整上下文与工具返回纳入日志,同时注意日志中的敏感信息脱敏。
方案B的运维与传统服务接近:错误率、规则命中分布、规则变更记录、回放验证。好处是问题定位路径短,坏处是规则数量增长后,规则集本身也需要治理,例如冲突检测与优先级管理。
五、对比表格:关键差异一览
| 维度 | 方案A:胶水式承载 | 方案B:显式业务逻辑承载 |
|---|---|---|
| 规则位置 | 提示词、工具描述、示例、知识文档 | 领域模型、状态机、规则集、流程编排 |
| 确定性 | 弱,输出可能随运行环境变化 | 强,同版本下输入相同则结果相同 |
| 可测试性 | 概率性评测,难以全覆盖 | 单元测试与回放,可断言 |
| 变更成本 | 初期低,累积提示词治理成本高 | 初期中高,变更影响可控 |
| 安全与审计 | 依赖输入输出过滤,审计较难还原 | 权限与敏感操作落在确定性分支,审计清晰 |
| 延迟与成本 | 每决策一次推理,token成本高 | 规则执行成本低,模型调用集中在语义环节 |
| 运维重点 | 效果指标、上下文版本、模型版本 | 规则命中、错误率、回放验证 |
| 适合的判断类型 | 模糊、开放、多约束权衡 | 明确、可枚举、需一致性 |
| 主要风险 | 指令注入、行为漂移、不可复现 | 规则僵化、维护成本、覆盖不到长尾 |
六、典型场景选择
更适合方案A的场景
- 面向C端的创作、咨询、知识问答类应用,输出本身开放,没有唯一正确答案;
- 需求仍在探索期、规则尚未收敛的早期产品,用提示词快速试错;
- 跨系统信息汇总与解释,只做读取和说明,不触发不可逆操作;
- 长尾场景极多、用代码穷举不现实的意图识别与分流。
更适合方案B的场景
- 资金、授信、库存、订单状态等有明确阈值的业务判断;
- 需要向用户给出稳定解释与审计记录的决策;
- 高并发、低延迟的后台链路,比如支付风控的实时判定;
- 受监管行业的关键流程,要求可追溯、可回放、可审批。
更常见的是混合模式
- 模型负责语义理解、信息抽取、方案生成、解释与总结;
- 规则层负责校验、决策与拦截;
- 应用层不再是纯粹的“胶水”,而是包含规则内核的“编排层”。
一个典型结构是“解析—决策—执行—生成”:
用户输入→ 模型:语义解析为结构化字段(schema校验 + 范围约束)→ 规则层:确定性校验与决策(可单测、可审计)→ 工具层:幂等操作 + 权限控制 + 操作留痕→ 模型:生成解释文案与用户反馈
七、选型建议:用三个问题定位边界
- 这个判断错一次的代价有多大? 代价高、不可逆,优先放在方案B;代价低、可纠正,可以交给方案A,但要有人工兜底通道。
- 这条规则能否被完整枚举? 能写成有限分支的,用方案B;依赖大量模糊语义权衡的,交给方案A,并配套评测集。
- 团队是否具备持续评测能力? 方案A的效果依赖长期评测投入。如果暂时没有评测基础设施,把关键规则留在代码里,通常比直接让模型“自由判断”风险更低。
需要强调的是,这不是“谁替代谁”的关系。模型能力提升会不断扩大方案A的适用范围,但确定性、可审计、低成本这些属性不会因模型变强而消失。较稳妥的做法是按风险分层:低风险、开放性的环节向方案A倾斜,高风险、强一致性的环节保留方案B,并随评测数据积累逐步调整边界。
八、迁移与使用注意事项
从方案B迁移到方案A时:
- 数据与上下文:整理知识文档、工具说明与示例,统一上下文结构;明确上下文长度上限与截断策略,避免规则在长上下文中被“稀释”;
- 接口适配:为模型定义结构化输出schema,做解析失败的重试与降级,降级路径应回落到确定性规则;
- 权限控制:工具调用要带调用者身份,敏感操作二次确认,禁止仅凭提示词约束高风险动作;
- 稳定性:准备限流、超时、熔断与缓存策略,模型服务不可用时要能返回明确错误,而不是静默失败;
- 兼容与运维:旧接口的客户可能依赖固定字段和固定文案,变更前做兼容评估;建立影子模式,让新逻辑只记录不改变结果,对比一段时间后再灰度放量;
- 评测基线:迁移前先在真实流量上采样建立评测集,作为回归与灰度的依据。
从方案A收敛到方案B时:
- 先通过日志分析高频决策路径与失败模式,把稳定、明确的规则抽出来固化为代码;
- 保留模型处理长尾与模糊输入,避免规则集过度膨胀;
- 规则变更走版本管理与回放测试,确保存量行为不被意外改变。
两个方向共同的底线是:任何模型输出在进入业务系统前,都应经过schema校验、权限校验和幂等控制。
九、回到问题:应用层只剩胶水时,该构建什么
回到开头的问题。“重视AI”和实际投入预训练之间,本质是一个分层投入问题:预训练属于基础模型层,投入门槛极高;后训练与领域微调属于模型适配层,需要数据与评测能力;提示词、工具集成与Agent编排属于应用层,门槛相对低,也是多数企业的主战场。芯片与成本的分野同理:车端推理与数据中心训练服务于不同约束,不能用同一套指标衡量。至于temperature为0仍输出变化,根因在于输入环境与浮点执行的非确定性,而非模型参数本身“不确定”。
在此背景下,业务逻辑的“坍塌”并不可怕,可怕的是应用层退化为纯粹胶水后,没有任何确定性内核兜底。建议把建设重点放在四层能力上:
- 领域内核:把资金、库存、权限、状态流转等关键规则沉淀为可测试的确定性服务;
- 工具能力:把业务能力封装为权限清晰、幂等、可观测的工具接口,作为模型与系统之间的稳定契约;
- 编排层:负责上下文组装、任务分解、工具选择与结果校验,而不是简单转发;
- 评测与治理体系:包括评测集、影子模式、灰度发布、监控告警、日志审计与成本观测。
换句话说,应用层不该只剩胶水,而应变成“可验证的规则内核 + 可授权的工具能力 + 可评测的编排层”。脚手架拆掉之后,真正留下来的应是承重结构。
十、总结
本文对比的两种承载方式,核心差异不在“是否使用AI”,而在关键判断放在哪里:
- 方案A用提示词与编排承载规则,开发快、适应模糊场景,但确定性弱、测试难、审计成本高;
- 方案B用代码承载规则,确定、可测、可审计,但前期建模成本高,对长尾场景覆盖有限。
temperature为0时输出仍可能变化,提醒我们模型输出应被当作概率性结果而非确定性函数。实际选型中,多数系统更适合“模型做理解与生成、代码做校验与决策”的混合结构:按风险分层,用评测数据驱动边界调整。在Agent时代,值得构建的不是更多胶水,而是可验证的领域内核、可授权的工具能力和可持续的评测体系。

登录后可评论,请前往 登录 或 注册