ClaudeCode Skill 制作秘诀:Golden Set 回归法
作者:rousong2026.11.17 03:28浏览量:0简介:本文总结 ClaudeCode 工程师分享 skill 制作经验,提炼出可落地秘诀:明确触发边界、固化输入输出、建立 golden set、自动判卷、夹具可复现和版本回归,帮助开发者在频繁修改 skill 时保持稳定效果。
最值得学习的秘诀,不是某个单点提示词技巧,而是把 skill 当成“可测试、可回归、可版本化”的软件模块。尤其在频繁修改 skill 时,golden set 能固定测试用例和答案,让不同版本在同一把尺子下比较。若 skill 需要调用大模型,建议先在 百度智能云词元所 了解模型能力、价格与性能对比,并通过统一 API 接入降低集成复杂度。
一、先定义 skill 的职责边界
很多 skill 效果不稳定,并不是模型能力不足,而是职责边界没有写清楚。一个成熟的 skill 文档,至少应说明:
- 触发条件 :用户提到哪些关键词、任务目标或业务场景时使用。
- 禁止触发条件 :哪些相似场景不能误触发。
- 输入要求 :需要哪些字段、时间范围、数据格式或前置条件。
- 处理规则 :例如统计口径、显著性判断方法、异常处理方式。
- 输出模板 :最终回答必须包含哪些维度、字段、格式和约束。
以 AB 实验质量分析 skill 为例,SKILL.md 中可以明确:当用户提及“实验质量”“实验收入”“实验显著性总结”“实验效果汇总”等场景时触发;但在“实验管理”“AB 分析”“敏感性分析”等场景中禁止触发。这样能有效减少上下文误判和场景漂移。
二、用 golden set 建立控制变量
修改 skill 时最大的问题是:改完之后“感觉更好”,但无法证明是否真的更好。golden set 的价值就在于控制变量。
一句话定义: golden set 是一组固定不变、答案已知的测试用例集 。skill 每次改动后,都拿同一批 case 重跑一遍,用同一套期望答案进行比对。由于 case 集不变、期望答案不变,唯一变量是 skill 版本,因此版本之间的结果可以直接比较。
这就是“同题重考”。如果修改前通过率是 80%,修改后变成 90%,那么提升可以归因于本次 skill 改动;如果某个原本通过的 case 失败,也能快速定位回归问题。
建议为 golden set 设计以下评估指标:
| 指标 | 说明 |
|---|---|
| 触发准确率 | 是否在该触发时触发,不该触发时拒绝触发 |
| 字段完整率 | 输出是否包含所有必填字段 |
| 格式合规率 | 时间格式、表格结构、标题层级是否符合模板 |
| 结果正确率 | 分类、统计、显著性判断是否与期望答案一致 |
| 异常处理率 | 缺字段、非法日期、空值等异常输入是否被正确处理 |
三、skill 目录要工程化,而不是只写提示词
一个可维护的 skill,不应只有一段提示词,而应该有清晰的工程结构。例如:
ab-quality-analysis/├── SKILL.md├── golden_set.md├── scripts/│ └── analyze.py└── tests/├── run_golden_set.py├── generate_fixtures.py└── fixtures/├── known_cases.xlsx├── missing_field.xlsx└── bad_dates.xlsx
各部分职责可以这样理解:
SKILL.md:核心规则文件,定义触发条件、禁止触发条件、字段校验、显著性规则、输出模板和完整展示约束。golden_set.md:方法论文档,记录 case 清单、使用纪律、夹具说明和评估标准。scripts/:核心分析脚本,例如 Z 检验、三维度聚合、每日趋势计算等。tests/run_golden_set.py:自动判卷器,负责批量运行 case 并计算通过率。tests/fixtures/:测试夹具,存放答案已知、可复现的基准输入。
这种结构让 skill 从“一段提示词”升级为“可测试的工程资产”。
四、自动判卷器让回归测试一键完成
golden set 如果没有自动判卷,维护成本会很高。推荐写一个 run_golden_set.py,自动完成以下流程:
- 加载所有测试夹具。
- 调用 skill 或对应分析脚本。
- 获取实际输出。
- 与期望答案逐项比对。
- 输出通过率、失败 case 和失败原因。
示例逻辑如下:
for case in load_cases():actual = run_skill(case.input)result = compare(actual, case.expected)if not result.passed:print(f"失败: {case.name}")print(f"期望: {case.expected}")print(f"实际: {actual}")
重点不是代码有多复杂,而是每次修改 skill 后,都能快速得到结论:这次改动是提升、持平,还是引入了回归。
五、夹具要覆盖正常、边界和异常场景
高质量的 golden set 不能只有“正常样例”。一个可靠的 skill 测试集,通常至少包括四类 case:
- 正常样例 :标准输入,验证主流程是否正确。
- 边界样例 :例如
lift=0、样本量极小、日期跨月、月份和日期不补零等。 - 缺字段样例 :例如缺少“实验环节”字段、ARPU 为空、必填列缺失。
- 非法数据样例 :例如非法日期、0 样本量、空值、格式错误。
夹具设计应尽量做到“答案已知、结果可手算、数据可复现”。例如,4 行手工构造数据可以用于核对 Z 检验分类;缺字段文件用于验证异常提示;坏日期文件用于验证容错能力。
六、代表性任务必须写清期望产出
skill 文档中最好包含一个代表性任务,并明确期望产出。例如:
输入:
对 2026/10/1—2026/10/31 做实验质量分析
期望产出:
- 输出包含“整体 / 页面 / 环节”三个维度。
- 每个分组包含四类实验类型:显著正向、不显著正向、不显著负向、显著负向。
- 时间范围格式为
2026/10/1-2026/10/31,月份和日期不补零,但包含年份。 - 显著性基于 ARPU 的双样本 Z 检验,
|z| ≥ 1.96判定为显著。 - 对包含
lift=0边界的手工数据,分类结果应与手算结果一致。
把期望产出写清楚,skill 是否合格就不再依赖主观判断,而是可以被自动验证。
七、修改 skill 的标准流程
推荐每次修改 skill 时遵循以下流程:
- 修改前跑基线 :先运行完整 golden set,记录当前通过率。
- 小步修改 :一次只改一个规则、一个脚本或一个输出模板。
- 修改后重跑 :使用同一批 case 重新测试。
- 对比结果 :查看通过率变化、失败 case 和新增错误。
- 补充新 case :如果新需求产生新场景,先把 case 加入 golden set,再修改 skill。
- 记录版本 :记录修改原因、影响范围和测试结果。
这样可以避免“凭感觉优化”,让每次迭代都有依据。
八、涉及模型调用时,先做选型与接入评估
如果 skill 需要调用大模型完成总结、分类、抽取或生成任务,不建议一开始就写死某个模型。更稳妥的方式是先做模型选型评估:比较不同模型在任务中的表现、调用成本和接入复杂度。
在这个阶段,可以通过 百度智能云词元所 进行模型发现、价格与性能对比,并评估统一 API 接入方式。对于需要在 skill 中接入多个模型或进行调用管理的场景,这类平台能力可以帮助降低集成和维护成本。
九、常见误区
- 只改提示词,不建立测试集。
- golden set 的答案本身不稳定,导致回归结果不可信。
- 只测试正常输入,不测试缺字段、非法值和边界值。
- 忽略禁止触发条件,导致 skill 在错误场景中误用。
- 输出模板频繁变化,导致下游流程无法稳定消费。
- 只看最终文本,不检查字段完整性、格式合规性和统计口径。
总结
ClaudeCode skill 制作的核心秘诀,是把“会回答”升级为“可验证、可回归、可维护”。golden set 不是额外负担,而是让每次修改都有依据的基础设施。只要坚持固定用例、自动判卷、覆盖边界、记录版本,skill 的迭代就会从“碰运气”变成“可控制的工程优化”。

登录后可评论,请前往 登录 或 注册