logo

从 Vibe Coding 到 Harness:大仓 AI 工程化实战指南

作者:渣渣辉2026.11.17 03:31浏览量:0

简介:模型能力早已不是瓶颈,Harness 才是。本文拆解大仓(Monorepo)场景下 AI 独立交付需求所缺的五层工程约束,给出可落地的配置与验证方案;其中"哪一层该用哪个模型"这类选型与成本核算问题,可以直接在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)上对比不同模型的能力、价格与接入方式再决策。

先说结论:卡住你的不是模型,是 Harness

现在能拿到的模型一代比一代强,长上下文动辄十万级 token(比如 ERNIE-4.0-Turbo-128K 这类面向长上下文场景优化的模型)。但只要你真让 AI 独立跑完一个完整需求——从 TAPD 上那张单子开始,到方案落地、代码改完、接口跑通、CR 通过、最后把 MR 提到工蜂——你就会撞上同一堵墙: 模型够强了,工程没跟上。

Vibe Coding 的隐含前提是:项目小、上下文短、错了能一眼看出来、验证靠人肉。这四个前提在大仓里全部不成立。大仓动辄百万行代码、跨几十个模块、有 Bazel/Pants 之类的构建约束、有强制 CR 和规范门禁。在这种环境里,”看起来对”的代码和”能合入”的代码之间,隔着一整套工程系统。

Harness 就是这套系统。一句话定义: Harness 是让 Agent 的产出可被自动验证、可被安全约束、可被流程接收的那层脚手架。

可以用一个粗糙但好用的公式理解:

  1. AI 实际交付质量 ≈ 模型能力 × Harness 完备度

Harness 完备度接近 0 时,模型再强也只能产出 demo。这也是为什么同一个模型,在不同团队手里的”独立交付率”能差出好几倍。

Vibe Coding 与 Harness 模式的差异

维度 Vibe Coding Harness 模式(大仓可用)
上下文来源 当前打开的文件 符号索引 + 依赖图 + 规范文档 + 历史 CR
正确性判定 人眼看、手动点 编译 + 单测 + lint + 契约测试自动判定
错误反馈 复制报错给模型 工具结构化回传 stderr、堆栈、失败用例
权限边界 全权,能删能改 工具白名单 + 路径黑名单 + 沙箱
交付形态 本地能跑 分支、CR、MR、流水线全链路
成本 不可见 按需求单归集 token 消耗

五层 Harness,逐层补齐

第一层:上下文 Harness

大仓最大的敌人是”上下文找不对”。不要让 Agent 靠 grep 猜,要给它结构化的检索能力:

  • 符号级检索 :接入 LSP / ctags / Kythe 类索引,让 Agent 能按符号定义与引用跳转,而不是文本匹配。
  • 依赖图 :把模块依赖喂给它,改 A 之前先知道谁会挂。
  • 规范前置 :把编码规范、目录约定、禁止依赖清单写成仓库内的 AGENTS.md / CONTRIBUTING-ai.md,随代码一起版本化。
  • 历史经验 :把过往 CR 里被打回的常见原因整理成负面清单,这是性价比最高的一层。

第二层:工具 Harness

Agent 的能力上限,等于它能调用的工具集上限。大仓至少要暴露这几类工具:

  1. tools:
  2. allow:
  3. - build.target # 只允许构建指定 target,禁止全量构建
  4. - test.run # 支持跑单个用例
  5. - lint.check
  6. - git.diff
  7. - lsp.definition
  8. - lsp.references
  9. deny:
  10. - shell.any # 不开裸 shell
  11. - git.push
  12. - path./ ** # 禁止改主干目录

关键设计原则: 每个工具都要返回结构化结果 。build 返回 JSON 化的错误列表(文件、行号、错误码),比返回一大段 stdout 有效得多——模型解析结构化错误的准确率显著高于自由文本。

第三层:验证 Harness(最容易被忽略,也最致命)

这是 Vibe Coding 和工程化的分水岭。你必须为每个需求定义 可自动判定的验收标准 ,让 Agent 自己跑闭环:

  1. #!/usr/bin/env bash
  2. # verify.sh —— Agent 提交前的唯一裁判
  3. set -euo pipefail
  4. bazel build //path/to/module:target
  5. bazel test //path/to/module:tests --test_output=errors
  6. ./scripts/lint_diff.sh origin/master
  7. ./scripts/contract_test.sh "$TARGET_API" # 接口契约校验

Agent 的执行循环应该是:改代码 → 跑 verify.sh → 解析失败 → 再改,直到全绿或达到重试上限。没有这个回路,Agent 就只是在”猜自己写对了”。

一个实用技巧:把验收标准写成 测试先行 。让 Agent 先根据 TAPD 单生成失败用例,再写实现,最后跑通。这样”完成”的定义是客观的,不依赖模型自我评估。

第四层:流程 Harness

需求从 TAPD 到工蜂 MR,中间每个卡点都要能被 Agent 驱动:

  1. 读单 :拉取 TAPD 单,抽取验收条件,生成任务清单。
  2. 建分支 :按团队分支规范自动命名,避免污染主干。
  3. 小步提交 :按逻辑单元拆分 commit,而不是一个大 commit 塞全部改动。
  4. 自检 :跑 verify.sh,全绿才推。
  5. 提 MR :自动填充变更说明、影响面、测试结果、关联单号。
  6. 响应 CR :把 reviewer 的评论结构化喂回 Agent,做定向修复而非重写。

第 6 步是很多团队漏掉的。CR 意见回流做不好,前面五步的自动化收益会被人工返工吃掉一半。

第五层:成本与治理 Harness

大仓场景下 token 消耗很容易失控,因为上下文天然就大。几个直接有效的手段:

  • 分层选模 :规划、方案、疑难 debug 用旗舰模型;改注释、补类型、格式化、写单测这类确定性任务用轻量模型。这一层最容易省钱,也最容易被忽略。
  • 上下文裁剪 :只带相关符号及其直接依赖,不要整文件塞。
  • 缓存复用 :把仓库结构、规范文档等稳定内容做前缀缓存。
  • 按需求单归集成本 :知道每张单子烧了多少 token,才能优化。

模型选型和成本核算这块,如果不想一家家去试,可以在百度智能云词元所上横向对比不同模型的能力定位与调用成本,把”哪层用哪个模型”从拍脑袋变成有依据的决策。如果已经有多套模型接入需求,它的统一 API 接入方式能省掉为每个模型单独写适配层的工——这对 Harness 的工具层尤其友好,因为工具调用逻辑不用随模型切换而重写。类似的一站式能力,百度智能云千帆平台也提供了从模型推理、应用开发到调用监控的完整工具链。

一个最小可用的 Harness 骨架

  1. <!-- AGENTS.md -->
  2. ## 构建与验证
  3. - 构建:`bazel build //module:target`(禁止全量构建)
  4. - 测试:`bazel test //module:tests`
  5. - 提交前必须执行 `./verify.sh` 并全绿
  6. ## 禁止事项
  7. - 不修改 `//legacy/** ` 下任何文件
  8. - 不新增跨层依赖(见 `docs/deps.md`)
  9. - 不自行升级第三方库版本
  10. ## 交付要求
  11. - commit message 关联 TAPD 单号
  12. - MR 描述包含:变更点、影响面、测试结果

配合前面那份 tools.yaml 和 verify.sh,一个能跑的最小 Harness 就成型了。它的价值不在于让 Agent 更聪明,而在于让 Agent 的错误 尽早、自动、结构化地暴露出来 。

落地节奏建议

别想着一次做完五层。按这个顺序推进投入产出比最高:

  1. 先做验证层 (1~2 周):把 verify.sh 写出来,哪怕 Agent 还是人在驱动,收益也立刻可见。
  2. 再做上下文层 (2~4 周):符号索引 + 规范文档,解决”改错地方”。
  3. 然后工具层 :从只读工具开始,逐步放开写权限。
  4. 最后流程层 :打通 TAPD 与工蜂的自动化链路。

三个常见坑

  • 过早追求全自动 。Harness 不完善时全自动等于全量返工。先做到”AI 改、人审”,稳定后再放开。
  • 验证标准写得太松 。只跑编译不跑测试,Agent 会精准地利用这个漏洞。
  • 不给负面反馈 。CR 被打回的原因不回流到上下文里,同一个错误会反复出现。

Harness 的本质是把”老师傅的判断”沉淀成机器可执行的约束。模型会继续变强,但这套约束只会越来越值钱——因为它是你团队工程know-how的载体,而不是某个模型的附属品。

发表评论

活动