logo

AI辅助证明形式化实操:从骨架到机器验证

作者:半吊子全栈工匠2026.11.16 11:44浏览量:0

简介:本文面向开发者、算法工程师和运维人员,讲解如何用AI把自然语言证明转写为可由Lean 4检查的代码。文中给出提示词模板、输出结构、错误分类表和人工复核清单,读者可据此搭建可重复、可审计的验证流水线,并快速定位常见失败原因。

一、教程目标

本教程帮助读者完成一项具体任务:把教材、讲义或论文中以自然语言写成的证明,先做结构化预处理,再借助AI转写为形式化验证器能逐步检查的代码。流程中同时建立失败回环、人工复核和审计日志,确保每次转写都能追溯。

读完本教程,读者应能交付以下三类产物:

  1. 证明骨架文件:包含依赖声明、定义、引理名称、定理陈述和占位标记,经人工确认结构正确;
  2. 验证日志:记录验证器版本、输入切片哈希、退出码和错误分类;
  3. 复核记录模板:列出定理陈述、假设条件和依赖边界的核对结果。

适合阅读人群包括:希望把形式化方法引入研发流程的开发者;负责AI应用落地的算法工程师;需要保证推理链可验证的技术负责人;负责流水线稳定性和日志监控的运维人员。读者无需已掌握完整定理证明体系,但需要基础编程能力、版本控制习惯,并理解大模型输出存在不确定性。

需要强调:AI生成的形式化代码不能直接视为正确结果。AI的价值在于承担重复性转写、骨架生成和错误归类。最终正确性由形式化验证器检查与人工复核共同保证。

二、适用场景

该流程适合以下场景:

  1. 数学教材、讲义或论文中的证明需要转为机器可检查的形式;
  2. 安全关键软件的规格或协议约束需要形式化验证;
  3. 教育评测中需要检查学生证明步骤是否完整;
  4. AI推理链需要增加可验证约束,降低“看似正确但步骤缺失”的风险。

不建议将全自动AI转写直接用于高价值结论的发布。生产环境应设置人工复核阈值和失败重试上限。

三、前置准备

实施前需要准备以下能力。各项均可由任一云服务或本地设施提供,具体选型应按团队已有环境决定。

  • 计算环境:运行形式化验证器、任务队列和批处理脚本;
  • 版本控制:管理原文切片、提示词版本、形式化产物和验证日志;
  • 对象存储:归档原文、中间产物、验证结果和审计记录;
  • 日志与监控:采集验证器输出、任务耗时、失败分类和重试次数;
  • 权限与审计:区分原文维护者、提示词维护者、验证执行者和复核者,各角色使用独立账号;
  • 形式化验证器:本文以Lean 4为例,版本在项目根目录的 lean-toolchain 文件中固定,例如写入 leanprover/lean4:v4.12.0;
  • 大模型服务:辅助生成证明骨架和形式化代码,调用时需限制上下文长度并约束输出格式。

若原文或中间产物包含未公开的研究内容或学生数据,应在送入大模型前完成脱敏,并保留每次调用的输入输出记录。

四、实施步骤

步骤1:明确证明范围与验收标准

先选择一段边界清晰的证明,例如单个定理及其直接依赖的引理。记录以下内容:输入原文、依赖定义、Lean版本、Mathlib版本(如使用)和验收标准。

验收标准不能只看“AI是否生成了代码”。应同时满足:验证器退出码为0;产物中不存在未解释的占位标记;人工复核确认定理陈述与原意一致。

步骤2:切片与术语对齐

将长文档按“定义、引理、定理、证明步骤”切分为小任务。每个切片建立术语表,记录自然语言术语与形式化符号的对应关系。

切片过大会导致模型上下文漂移,切片过小会丢失依赖关系。一般以单个定理及其直接依赖为一个切片,长度控制在模型能完整读入并输出的范围内。

下面是一个示例切片和术语表。

原文切片:

定理:若 a 与 b 都是偶数,则 a + b 是偶数。
证明:设 a = 2m,b = 2n,则 a + b = 2(m + n),故 a + b 为偶数。

术语表:

自然语言术语 形式化表示 说明
偶数 ∃ k, a = 2 * k 使用存在量词定义
设 a = 2m obtain ⟨m, rfl⟩ := ha 解构存在性假设
故为偶数 ∃ k, a + b = 2 * k 目标陈述

对应的Lean代码示例:

  1. theorem even_add_even (a b : Nat)
  2. (ha : ∃ k, a = 2 * k) (hb : ∃ k, b = 2 * k) :
  3. ∃ k, a + b = 2 * k := by
  4. obtain ⟨m, rfl⟩ := ha
  5. obtain ⟨n, rfl⟩ := hb
  6. exact ⟨m + n, by omega⟩

该示例可直接用 lake env lean 检查,无需额外依赖。

步骤3:生成形式化骨架

在让AI补全完整证明前,先生成骨架,即只包含声明、定义、引理名称、定理陈述和证明占位的文件。骨架由人工确认结构正确后,才进入AI补全阶段。这样可以先保证“证明什么”正确,再处理“如何证明”。

骨架中的未完成证明统一使用 sorry,并在上方加注释标记:

  1. -- UNRESOLVED_STEP: 待AI补全
  2. theorem even_add_even (a b : Nat)
  3. (ha : ∃ k, a = 2 * k) (hb : ∃ k, b = 2 * k) :
  4. ∃ k, a + b = 2 * k := by
  5. sorry

步骤4:设计AI转写提示词与输出约束

提示词应包含以下固定部分:目标Lean版本、允许使用的依赖列表、禁止跳步的要求、输出结构和错误处理方式。下面是一份可直接复制的模板,其中花括号部分在调用时替换:

  1. 你是一名Lean 4形式化助手。目标版本:{lean_toolchain}。
  2. 任务:将下方自然语言证明转写为Lean 4代码。
  3. 规则:
  4. 1. 只能使用以下已声明的标识符:{allowed_identifiers}。
  5. 2. 不得新增 axiom、不得引入未声明的引理名。
  6. 3. 每个证明步骤必须同时给出自然语言解释和对应的Lean片段。
  7. 4. 若某一步无法确定,输出 status 为 "UNRESOLVED_STEP",不得编造依赖。
  8. 5. 严格按照下方JSON结构输出,不输出其他说明文字。
  9. 输出结构:
  10. {
  11. "slice_id": "字符串,与输入切片编号一致",
  12. "steps": [
  13. {
  14. "step_id": "字符串,如 s1、s2",
  15. "natural_language": "字符串",
  16. "formal_code": "字符串,Lean代码片段",
  17. "status": "done 或 UNRESOLVED_STEP",
  18. "depends_on": ["字符串数组,仅能引用 allowed_identifiers 中的名称"]
  19. }
  20. ],
  21. "new_lemmas": []
  22. }
  23. 待转写证明:
  24. {source_slice}

模型输出返回后,流水线先做三项机械校验,再进入编译:

  1. JSON解析:无法解析的输出直接判定为语法错误,进入重试;
  2. 依赖校验:depends_on 中出现不在 allowed_identifiers 内的名称,判定为依赖编造;
  3. 新增公理检查:formal_code 中出现 axiom,且不在白名单内,直接拒绝。

步骤5:集成验证器并建立失败回环

每次AI生成后立即调用验证器。以Lean 4为例,单文件检查命令为:

  1. lake env lean ./slices/slice_0001.lean > ./logs/slice_0001.out 2>&1
  2. echo "exit_code=$?" >> ./logs/slice_0001.out

Lean的错误输出格式为 文件路径:行号:列号: error: 错误信息,可以用正则解析。sorry 会产生 declaration uses 'sorry' 警告,流水线应把这类结果判为“证明未完成”,而不是通过。

错误解析的分类规则如下:

类别 匹配特征 回环动作
语法错误 unexpected token、expected 带错误行附近代码重试,最多2次
依赖缺失 unknown identifier、unknown constant 补充术语表和依赖上下文后重试,最多2次
类型不匹配 type mismatch 进入人工复核
证明未完成 declaration uses 'sorry'、unsolved goals 拆分子目标,增加中间引理,最多1次
超时 进程超时或 maxHeartbeats 相关报错 拆分证明或调高超时上限,记录后人工判断

必须设置最大重试次数,建议单个切片总重试不超过5次。超过上限的切片进入人工队列,不再自动循环。

步骤6:人工复核与合并

通过验证器只说明机器可检查,不代表自然语言语义完全等价。复核者需要逐项检查定理陈述、依赖假设和证明边界是否与原意一致。下面是建议的复核检查表:

检查项 通过标准
定理陈述等价 Lean中的命题与原文定理逐条对应,无增删条件
假设条件 所有前提都在陈述中显式出现,无隐含假设
依赖边界 使用的引理均在允许列表内,且语义与原文一致
占位符清零 全文无 sorry、admit、UNRESOLVED_STEP
公理使用 无未经批准的 axiom 声明
验证日志 退出码为0,日志包含工具版本和输入哈希

复核通过后,将产物、提示词版本、验证日志和复核记录一起提交归档。高价值结论应由两名复核者独立检查,结论不一致时以先前的人工判断为准并记录分歧。

步骤7:流水线集成

开发环境可用单任务脚本串联各步骤,便于调试。生产环境建议使用任务队列并行处理切片,并将每次生成和验证的记录写入日志。流程示意如下:

  1. pipeline:
  2. input: source_proof_slice
  3. steps:
  4. - build_glossary
  5. - generate_skeleton
  6. - human_confirm_skeleton
  7. - ai_translate_chunk
  8. - static_checks
  9. - run_formal_validator
  10. - classify_errors
  11. - retry_or_manual_review
  12. - human_review
  13. outputs:
  14. - verified_artifact
  15. - audit_log

五、配置说明

可配置项包括分块大小、最大重试次数、验证超时时间、人工复核阈值、日志级别和并发数。下表给出推荐起始值,团队应结合自身证明难度调整,并记录每次调整的原因。

配置项 推荐起始值 调高的影响 调低的影响
分块大小 单个定理及直接依赖,约1到3个定义加2到5个引理 上下文漂移风险增加 依赖丢失,集成成本上升
最大重试次数 单切片总计5次 成本上升,系统性错误被掩盖 偶发语法错误导致过早转人工
验证超时 单切片300秒,复杂证明可放宽到900秒 慢速失败暴露延迟 复杂证明被误判为失败
人工复核阈值 所有通过切片抽检10%,高价值结论全量复核 人工成本上升 语义错误漏检风险增加
并发数 与可用CPU核数相当,并预留一个核给监控 资源争抢,验证超时增多 吞吐下降

所有配置应版本化,并与提示词版本一起记录。配置变更后,应对一组固定的回归样例重新跑一次流程,确认指标没有异常波动。

六、结果验证

下表定义了需要观察的指标。每个指标都要明确统计口径和采集位置,避免不同人对同一数字理解不同。

指标 定义 采集位置 示例阈值
验证器通过率 退出码为0且无 sorry 警告的切片数 / 提交验证的切片总数 验证日志汇总 大于80%,低于则检查提示词
首次通过率 第一次生成即通过的切片数 / 切片总数 任务队列记录 持续上升说明提示词质量改善
平均重试次数 所有切片重试次数之和 / 切片总数 重试计数器 大于2次时需检查错误分类
人工复核驳回率 驳回切片数 / 复核切片数 复核记录 大于20%时需检查验证规则是否遗漏
未解释占位符数量 产物中未关联说明的 sorry 和 UNRESOLVED_STEP 数量 静态扫描 合并时必须为0
单证明平均耗时 从提交到验证结束的平均时长 任务日志 按切片规模设定基线
单证明成本 模型调用费用加验证计算资源费用 计费与任务日志 按预算设定上限

结果验证不能只看最终通过数。每周应抽取不少于20个切片或总量的5%,两者取较大者,检查失败分类是否合理、日志是否完整、产物能否在相同输入下重新构建得到相同结果。

七、常见问题与排查

下表按症状列出排查路径,便于运维人员快速定位。

症状 日志关键字 定位命令或检查点 修复动作
模型输出无法解析 JSON解析异常 检查原始输出是否包含额外说明文字 在提示词中强调“只输出JSON”,并设置输出格式校验
出现不存在的引理名 unknown identifier 对照 allowed_identifiers 列表检查 depends_on 补充术语表和依赖上下文,并在提示词中列出白名单
证明卡住 unsolved goals 查看日志中未解目标的行号和内容 拆分该步骤,增加中间引理后重新生成
验证超时 进程超时或 maxHeartbeats 记录切片规模和耗时,与基线对比 拆分证明,或为单个声明设置更高的 maxHeartbeats
模型编造内容 占位符未出现但证明内容可疑 检查 status 字段是否全部为 done 且存在可疑依赖 要求无法确定时输出 UNRESOLVED_STEP,并在验证前做静态扫描
验证通过但语义不一致 无错误日志 对照复核检查表,重点检查定理陈述和假设 加强人工复核,把该案例加入回归样例
成本过高 重复调用日志 统计同一切片的调用次数和缓存命中率 启用缓存、增量验证,并对高频错误建立规则化修复

八、优化建议

在稳定性方面,应固定提示词版本、验证器版本和依赖快照。任何一项变化都可能改变验证结果,必须视为新的流水线版本。

在性能方面,可按依赖关系并行验证独立切片。没有依赖关系的切片可以同时送入验证器,有依赖的切片则按拓扑顺序执行。

在成本方面,建议建立缓存,缓存键由以下四项哈希组合而成:原文切片内容的哈希、提示词版本、验证器版本和依赖快照哈希。只有四项完全一致时才复用结果。增量验证的失效条件包括:依赖切片内容变化、提示词版本变化、Lean版本变化或依赖快照变化。

在安全方面,应限制模型输入中的敏感信息,并完整保留每次调用的输入输出审计记录。审计记录只能追加,不能修改。

在可维护性方面,应把人工复核结论沉淀为测试用例和回归样例。每次复核发现的错误,都应转换为一个可自动运行的检查项,使同类错误在后续流程中被自动拦截。

九、总结

本教程围绕AI辅助数学证明形式化,给出了从切片、骨

发表评论

活动