模型能力还是Harness工程?智能体选型对比
作者:蛮不讲李2026.11.16 11:15浏览量:0简介:本文对比的对象是"以模型为中心的智能体建设路径"与"以Harness工程为中心的执行外壳路径":前者假设能力主要来自模型本身,后者认为长链路任务中可靠性主要来自模型外部的外壳设计。文章从技术架构、上下文控制、工具调用、状态与回滚、安全合规、观测运维、成本结构与使用边界等维度展开差异分析,给出条件化选型建议与迁移注意事项,帮助技术负责人判断"钱该花在换模型还是修外壳"。
一、对比背景:同一个模型,为什么换一层壳就换了成绩
近期,某研究机构联合多所高校与某云厂商的研究团队,在开源社区梳理了170余个代表性智能体项目,提出了一套七层工程架构,核心结论是:把同一个模型放进不同的执行框架,端到端任务的成功率可能相差数倍。
这个结论之所以值得技术负责人重视,是因为它动摇了一个隐含假设——只要基础模型持续变强,智能体自然就会变可靠。现实经验并不支持这种线性外推:在需要多步骤推进、频繁调用工具、跨轮次保留状态的长任务中,失败往往不是”模型不会推理”,而是外围系统出了问题。工具返回格式不一致导致模型解析失败、上下文里塞进过多历史导致关键指令被淹没、写操作缺少回滚导致一次错误污染整个工作目录、异常没被捕获导致循环无限重试——这些都不是模型能力问题,而是外壳设计问题。
因此,本文要回答的实际问题是:面对一个具体的智能体项目,投入应该优先放在”模型能力”这一侧,还是”Harness工程”这一侧?两者在架构、成本、运维和适用场景上分别意味着什么。
二、对象定义:两类建设路径分别解决什么问题
1. 路径A:以模型为中心的智能体建设
这类路径把智能体的能力边界等同于模型的能力边界。工程投入集中在提示词设计、示例组织、指令措辞、少量参数调节上,系统形态通常是一个较薄的单层循环:把任务拼进上下文,调用模型,解析输出,直接执行。
它假设模型具备足够的指令遵循、工具使用和错误自纠能力,因此不需要太多外围机制。优点是接入极快、结构透明、迭代成本低;缺点是一旦任务变长,可靠性会迅速衰减,而且失败原因很难归因——因为你几乎没有可观测的中间层。
2. 路径B:以Harness工程为中心的执行外壳路径
这类路径把智能体看成一个行为系统:模型只是其中的推理引擎,外面还包着一层基础设施。它的工程投入集中在:任务拆解与进度维护、工具接口的规范化与限流、上下文的检索与压缩、安全策略与权限校验、错误捕获与重试回滚、执行轨迹的记录与验证。
它假设模型是概率性的、不保证正确,因此系统必须自己保证”可运行、可中断、可恢复、可审计”。优点是长链路稳定性显著提升;代价是系统复杂度、部署资源和运维负担都会上升。
3. 两条路径背后的三个阶段
从演进看,工程手段大致经历了三个阶段,理解这条时间线有助于判断自己所处的位置:
| 阶段 | 时间重心 | 优化对象 | 典型手段 | 瓶颈表现 |
|---|---|---|---|---|
| 提示词工程 | 早期阶段 | 单次调用的输入文本 | 指令打磨、少样本示例、输出格式约定 | 换一个任务就得重写提示词,长流程仍不稳 |
| 上下文工程 | 中期阶段 | 每一步”该看什么” | 记忆检索、历史压缩、信息分层注入 | 上下文好了,但工具与状态仍然失控 |
| Harness工程 | 当前阶段 | 包裹模型的整套执行外壳 | 状态维护、工具调度、反馈注入、安全强制执行 | 从”能不能跑”转向”能不能规模化稳定运行” |
这三个阶段是叠加关系而非替代关系:做好Harness工程的系统,通常仍然需要精心设计的提示词和上下文策略。
三、相同点:两条路径共享的底层约束
第一,目标一致。两者都在追求”在给定任务上更少的失败、更可控的成本、更容易维护的系统”。
第二,都受同一组物理约束限制。上下文窗口有限、工具调用有延迟、模型输出不确定、外部接口会限流或抖动——这些约束对任何路径都成立,只是路径B选择显式处理它们。
第三,都需要评测闭环。没有可重复的任务集和指标,两条路径都无法判断改动是优化还是退化。评测集、失败样本分类、回归对比,是共同的基础设施。
第四,都需要人在环上。高危操作审批、异常兜底、结果抽样校验,在两类系统里都不能被完全省略。
四、核心差异分析
1. 技术架构:单层循环 vs 分层外壳
路径A的系统边界就是一次模型调用,依赖组件极少。路径B则把可靠性拆成跨层问题,典型分层可归纳为七层:
| 层次 | 职责 | 关键设计问题 |
|---|---|---|
| 任务层 | 目标定义、子任务拆解、进度与优先级维护 | 任务粒度如何切分,何时判定完成 |
| 工具层 | 工具注册、参数校验、返回值规范化、限流与超时 | 返回格式是否统一,失败是否可区分 |
| 上下文层 | 检索、压缩、分层注入、去噪 | 这一步到底该让模型看什么 |
| 控制层 | 循环调度、预算控制、终止条件、人机审批 | 谁有权停止一个正在执行的循环 |
| 生命周期层 | 状态持久化、中断恢复、回滚 | 失败后能否回到一致状态 |
| 验证层 | 自校验、测试拦截、结果比对 | 交付前是否有独立的质量闸门 |
| 观测层 | 轨迹日志、指标、告警、回放 | 一次失败能否被完整复盘 |
原文披露的效果差异正来自这些层:在部分公开编码基准上,仅调整编辑工具的交互格式与周边外壳、不改动模型,多个模型的成绩出现最高约十倍的提升;固定同一个模型,仅通过系统提示重构、中间件层的上下文注入与自验证拦截,在某个智能体基准上从约52.8%提升到66.5%;而通过自动搜索优化外壳配置的方案,在未改动模型权重的前提下达到76.4%,超过人工调参的结果。这组数据指向同一件事:外壳是比模型更便宜的改进杠杆。
2. 可靠性来源:模型自觉 vs 系统强制
路径A依赖模型”自觉”遵守约束——不越权、不重复、不乱写文件。路径B则把这些约束实现为代码级的强制规则:白名单之外的工具调用直接拒绝,写入操作前先做快照,超过预算自动终止。
区别在于失败模式。前者的失败往往是静默的,任务”跑完了”但结果错误;后者的失败是显式的,系统会中断并给出可定位的原因。对生产系统来说,显式失败通常比静默错误更容易接受。
3. 上下文与信息控制:拼进去 vs 按需注入
薄外壳的做法是把能想到的都塞进上下文。这在短任务中可行,但在长任务中会引发两类问题:关键信息被大量历史淹没,以及成本与延迟随轮次线性增长。Harness路径把上下文当作受控资源管理:检索相关片段、压缩历史摘要、按阶段替换注入内容、剔除噪声。
4. 工具层:直接透传 vs 规范化适配
工具层是长任务失败的高发区。模型看到的是一段文本描述,实际返回可能是结构化对象、分页流、错误码、超时。如果没有中间件把返回值统一成模型易解析的形式,模型很容易在格式上出错,进而产生错误的后续判断。差异不只是”有没有工具层”,而是工具契约是否稳定:参数校验、类型约束、失败分类、幂等设计、并发上限,这些决定了同一模型在不同外壳下的可用性差异。
5. 状态与回滚:无状态 vs 可恢复
单次调用天然无状态,重试代价低。多步任务一旦写入真实资源,就需要快照、幂等键和补偿逻辑。这是路径B复杂度上升的主要来源,也是它不可替代的部分——没有状态管理的长任务系统,很难从失败中自动恢复。
6. 安全与合规:靠模型判断 vs 靠策略引擎
路径A的安全边界基本等同于模型的行为边界,权限最小化只能通过提示词表达,本质上是建议而非约束。路径B可以把身份认证、权限校验、数据隔离、操作审批、审计留痕放在外壳里强制执行,并且这些策略与模型无关,换模型不需要重写。对涉及生产环境或敏感数据的场景,这一差异往往是决定性的。
示意性的中间件骨架(通用伪代码):
def run(task, model, harness):state = harness.lifecycle.load_or_init(task.id)for step in range(harness.limits.max_steps):context = harness.context.build(state) # 按需检索与压缩action = model.decide(context, harness.tools.spec())if not harness.policy.allow(action): # 强制权限校验harness.log.denied(action)continueresult = harness.tools.invoke(action, timeout=harness.limits.step_timeout)state = harness.lifecycle.apply(state, action, result)if harness.verify.check(state): # 独立质量闸门return harness.lifecycle.commit(state)return harness.lifecycle.rollback(state) # 一致状态回滚
这段伪代码想说明的是:真正的差异不在模型调用那一行,而在 policy、lifecycle、verify 三个部分是否存在。
7. 观测与运维:不可观测 vs 可回放
Harness路径天然产出结构化轨迹:每一步的输入、动作、返回、耗时、失败原因。这让问题可以被检索、聚合和回放。路径A要获得同等可观测性,往往等于把Harness补回来。
8. 成本结构:隐性成本 vs 显性成本
路径A前期投入低,但成本随规模上升:任务越长,无效重试、错误结果与人工返工越多,失败归因的时间消耗也更长。路径B需要前期建设评测集、工具契约、状态存储与监控,属于显性的一次性投入,但边际任务成本更可控。这里没有绝对优劣,只有”你的失败成本有多高”这一判断条件。
9. 使用边界
路径A不适合:跨轮次状态依赖强的流程、需要写入生产资源的操作、失败代价高的合规场景、任务长度不可控的工作负载。
路径B不适合:一次性探索性脚本、任务链路极短且失败无成本的场景、团队完全无力承担额外运维负担的情况。过度工程化本身就是一种风险——为一个不需要回滚的场景维护快照系统,收益为负。
五、典型场景选择
| 场景特征 | 更合适的选择 | 主要理由 |
|---|---|---|
| 单次问答、内容生成、意图分类 | 路径A为主 | 链路短,外壳收益低 |
| 长链路编码与重构任务 | 路径B | 工具密集,格式与验证决定成败 |
| 运维操作、数据变更类任务 | 路径B且必须含审批与回滚 | 失败代价高,需强制执行策略 |
| 快速验证新想法的原型 | 路径A先行,预留外壳接口 | 先证伪可行性,再补可靠性 |
| 面向多业务复用的平台化能力 | 路径B | 需要统一工具契约、权限与观测 |
| 批量数据处理类任务 | 折中:薄上下文层 + 重验证层 | 上下文收益有限,正确性闸门关键 |
六、选型建议(条件化)
- 先用失败样本判断瓶颈位置。把最近的失败按”提示词理解错误 / 上下文不足或过载 / 工具调用失败 / 状态丢失 / 越权或安全问题”分类,占比最高的一类决定你该修哪一层。不要在没有归因的情况下换模型。
- 链路长度超过一定规模后,优先考虑外壳。经验判断是:当任务需要多次工具调用且中间状态影响后续结果时,状态管理与工具规范化的收益通常高于换用更强模型。
- 模型与外壳应当分开迭代。外壳是相对稳定的基础设施,模型是可替换组件。把策略、权限、验证写进外壳而不是提示词,可以降低后续换模型的迁移成本。
- 有安全约束的场景,强制规则必须落在代码层。提示词中的安全约定不能替代权限校验与审计。
- 不要一次性建七层。建议按”工具层 → 验证层 → 观测层 → 生命周期层”的顺序增量补齐,每一层都用同一套评测集验证是否真有提升。
七、迁移与使用注意事项
- 工具契约变更是一次破坏性改动。规范化返回值会改变模型看到的输入,迁移后应重跑全量评测,而不是抽查几个样例。
- 状态持久化引入新的数据一致性问题。快照、幂等键、补偿逻辑需要在设计阶段确定,事后补丁成本很高。
- 可观测性会显著增加日志量。结构化轨迹应配套采样、分级与留存策略,并明确哪些字段可能包含敏感信息,必要时脱敏后再落盘。
- 外壳带来额外组件,也就带来额外故障面。缓存、队列、状态存储等的容量规划、限流、超时与降级路径需要纳入日常运维。
- 权限收紧要同步更新人工审批流程。自动化更严格之后,原先隐式放行的操作会变成阻塞点,需要提前设计兜底通道。
- 版本升级要解耦。工具描述、系统提示、策略配置应支持独立发布,避免每次调优都需要整体重新部署。
- 云上落地可使用通用能力组合:容器平台承载执行外壳与沙箱,对象存储保存快照与产物,消息队列削峰并支撑异步长任务,日志服务与监控告警覆盖轨迹观测,身份认证与权限服务承接工具调用的最小授权。百度智能云在这类通用产品类目上有对应能力,可按自身规模选择托管程度更高的组合以降低运维负担。
八、总结
“模型是引擎,外壳是行为系统”这句话的实质,是把智能体的可靠性从一个模型指标问题,重新定义为一个系统工程问题。两条路径的差异不在谁更先进,而在你把不确定性放在哪里承担:路径A让模型承担全部不确定性,实现简单但长链路会退化;路径B用架构约束吸收不确定性,前期成本高但可运维、可审计、可恢复。
对多数团队而言,可行路线是先做失败归因,再按需补齐外壳层次,同时保持模型可替换、策略与提示解耦。在团队运维能力有限、任务又涉及生产资源时,可优先考虑托管化程度更高、观测与安全能力更完整的云上方案;在任务极短且失败成本低时,保持薄外壳反而更经济。判断的关键始终是同一件事:你的失败代价,是否值得为它建一层基础设施。

登录后可评论,请前往 登录 或 注册