机器人给自己写程序：代码即策略的原理与实践

在“AI颠覆一切”的叙事里，机器人本应是最先被改造的角色。但真正做过机器人集成的人都清楚另一种现实：产线换个工件型号，工程师就要重新标定相机、重写抓取流程、重调轨迹参数；实验室里演示流畅的方案，换个桌面布局就原形毕露。这种“换个任务、重新来一遍”的笨重感，与通用智能的愿景之间，横着一道清晰的鸿沟。近年来，一条截然不同的技术路线给出了新的答案：不再执着于训练一个更大的端到端模型，而是让通用代码智能体直接为机器人编写控制程序——也就是让机器人学会“给自己写程序”。本文将系统拆解这条路线的来龙去脉、核心机制、优势边界与工程落地路径。

一、端到端路线的承诺与尴尬

1. 视觉运动策略：一个诱人的目标

所谓视觉运动策略，指的是直接把摄像头画面与自然语言指令映射为机器人动作序列的“大脑”：不需要人工写死每一步动作，模型看图、听话、出手。它的诱惑力显而易见——如果这样的模型足够强，机器人集成就变成了“换个任务、换一批数据、继续微调”，人力成本随模型规模摊薄，而不是随任务数量线性增长。

过去几年，视觉语言动作模型（Vision-Language-Action，VLA）成为这一路线的主流形态：在大规模图文与视频数据上预训练，再接入机器人动作头进行微调，各大研究机构与厂商纷纷投入训练自己的版本，赛道不可谓不热闹。

2. 高分背后的真相

然而热闹之下藏着一个尴尬的事实：这些模型在实验室评测中可以做到90%以上的任务成功率，可一旦场景稍有变化——物体挪个位置、任务描述换个说法——表现就会断崖式下滑。已经有专门的评测基准系统性地考察这种“扰动泛化”能力，结果相当刺眼：多个主流模型在物体位置与任务指令被扰动之后，成功率直接跌到0%。

这不是小数点后的问题，而是路线级别的警报。0%意味着模型并没有真正“理解”任务，它只是记住了训练数据里那些特定的视觉-动作绑定：桌面上那个位置、那种摆法的红色方块，对应那一段动作序列。扰动一旦打破绑定，模型便无从下手。

3. 根因：插值能力被误认为理解能力

从机器学习的角度看，这几乎是必然的。端到端模型学到的是训练分布内的统计关联，它的“成功”建立在对见过情形的插值之上；而真实世界的任务空间是长尾且开放的，任何有限的真机数据都覆盖不了。真机数据采集昂贵、仿真到现实存在差距，进一步压缩了数据多样性。于是问题被聚焦为一个更本质的追问：泛化能力，究竟应该从“更多数据”里来，还是从“更好的任务表示”里来？

二、换一条路：代码即策略

1. 核心思想

有一群研究者给出了另一种回答：机器人领域几十年积累已经沉淀出一整套成熟的软件底座——业内通称的机器人操作系统框架，负责连接传感器、处理数据、下发控制指令，工业界与学术界的工具链都建立在它之上。那么为什么不利用这个底座，让AI像人类工程师一样，直接用这些接口写程序来控制机器人，而是去训练一个黑箱模型“猜”动作？

这就是“代码即策略”的核心逻辑：策略不再是一团神经网络权重，而是一段可读、可改、可测试的程序。近期一项公开研究把这一点推向了极致：研究者没有训练任何专门的机器人模型，只是给一个通用的命令行代码智能体提供了一个工作目录和机器人中间件的使用文档，然后告诉它——去完成这个任务。没有预训练的动作头，没有手工设计的感知工具库，只有一个终端和一堆文档。

2. 结果为什么令人意外

据该研究披露，这套“零训练”方案在面向代码生成式机器人控制的公开评测中取得了99.0%的任务成功率，在专门考察扰动泛化的评测中也达到了87.0%。一个从未见过这台机器人、没有任何专门训练的通用编程AI，当场读文档、写代码、调通了机械臂操作。这个结果颠覆直觉的地方在于：它证明“操作机器人”所需的知识，很大一部分早已存在于成熟的软件生态和代码智能体的代码先验之中，缺的只是一个把它们组织起来的机制。

三、系统如何运转：从一句指令到一段可执行程序

1. 运行循环

这类系统的典型工作方式是一个“感知—生成—执行—修正”的闭环：

# 智能体外层循环（示意）
task = parse_instruction("把红色方块放进左侧盒子")
while not done:
    code = agent.write_code(task, docs, observations)  # 读文档、写程序
    result = sandbox.run(code, timeout=60)             # 沙箱内限速执行
    observations = observe(robot)                      # 执行后重新感知
    if result.failed:
        task = agent.revise(task, error=result.trace)  # 根据报错自我修正

智能体拿到的“世界模型”就是工作目录里的文档、示例代码与运行报错。它不需要被训练，只需要被喂给足够清晰的接口说明。

2. 生成的程序长什么样

以一个典型的抓放任务为例，智能体生成的程序大致是下面的形态：

# 由代码智能体现场生成的任务程序（示意）
def pick_and_place(color: str, target_zone: str):
    scene = camera.capture()                 # 感知：采集当前场景
    dets = perceive(scene)                   # 目标检测 + 位姿估计
    obj = find(dets, by_color=color)
    if obj is None:
        report("未找到目标物体，请求人工确认")
        return
    grasp = plan_grasp(obj.pose)             # 规划：逆运动学 + 轨迹生成
    place = plan_move(obj.pose, zone_pose(target_zone))
    arm.execute(grasp.approach, speed=SLOW)  # 执行：限速、带保护
    gripper.close(force=GRIP_FORCE)
    arm.execute(place, speed=NORMAL)
    gripper.open()
    confirm(check_region(target_zone, color))  # 验证：执行后复核

注意这段程序的结构：感知、规划、执行、验证四个环节各自独立、边界清晰。物体换了位置，变的只是感知输入；任务换了说法，改的只是代码逻辑。这正是泛化能力的来源。

3. 工程上的关键设计

要让这套机制稳定工作，有几个不可或缺的工程环节：

• 文档即上下文：接口文档、示例节点、参数说明被组织成智能体可读的工作目录，相当于给工程师一本“出厂手册”；
• 沙箱与预验证：生成的代码先在仿真环境或限速模式下执行，配合静态检查，避免未经验证的指令直达真机；
• 观察与自愈：每次执行后重新感知环境，失败时把报错栈与场景状态回灌给智能体，触发下一轮修正；
• 人工兜底：识别失败、重复失败或高风险动作时，主动暂停并请求人工确认。

四、为什么它能泛化：与端到端模型的本质差异

两条路线的差异，可以浓缩成一张表：

维度	端到端模型路线	代码即策略路线
泛化来源	训练数据分布内的插值	程序结构 + 代码语料先验
新任务成本	采数据、微调、重新评测	一句指令，现场生成
可解释性	黑箱，失败难以归因	代码可读、可审、可单测
响应延迟	毫秒级推理	生成环节秒级，适合任务级编排
失败模式	静默失败	可定位到具体步骤并修复
适合场景	高频闭环的动态技能	长尾任务、任务级调度与集成

进一步展开，代码即策略的泛化能力来自三个本质原因：

其一，任务语义被显式化。 在端到端模型里，“把杯子放到架子上”是一团隐式的神经元激活；在代码里，它是可检查的步骤序列。扰动破坏的是感知输入，而感知模块（成熟的检测与位姿估计方法）本身在真实数据上训练、鲁棒性更强，即使感知有抖动，控制逻辑依然成立。

其二，组合泛化替代样本泛化。 代码的原语可以自由重组出近乎无限的新任务：换颜色、换容器、换顺序，只需改几个参数或几行逻辑。模型需要泛化的不再是“每一个具体任务”，而是“写代码”这个元能力——而这个能力，已经在人类海量代码语料上被充分训练过了。

其三，可验证性带来可靠性。 程序可以做静态检查、仿真回放与单元测试，出错时能定位到具体行；端到端模型失败时，工程师面对的是一个无法打开的黑箱。

五、冷静看待：这条路的边界

代码即策略不是万能药，几类局限需要正视：

• 实时性瓶颈：代码生成与推理存在秒级延迟，适合抓放、搬运这类慢节奏任务，难以支撑高频闭环的动态技能（如接抛物体、精细装配）。可行解法是分层：上层用代码做任务编排，下层保留学习型策略或模型预测控制做毫秒级伺服。
• 接触丰富与柔性任务：涉及力控、可变形物体（布料、绳缆）的场景，单纯位置级程序难以覆盖，需要引入力觉反馈与专门技能。
• 安全与验证压力：自动生成的代码直接驱动真机存在风险，沙箱隔离、速度与力矩上限、急停链路与人工确认是上线前必须补齐的环节。
• 感知是天花板：代码逻辑再好，感知给出的位姿不准，动作就不会准；感知精度决定了这条路线的可靠性上限。
• 长时程任务的错误累积：多步骤任务需要状态跟踪与失败恢复机制，否则一步错、步步错。

六、工程落地参考路径

对希望尝试这条路线的团队，可以参考以下路径：

1. 环境资产化：把机器人接口、文档、示例沉淀为标准化的工作目录，这是智能体能力发挥的前提；文档质量直接决定生成代码的质量。
2. 评测先行：建立包含扰动用例的任务评测集（移动物体、改写指令、更换光照），用数字而非演示视频来衡量泛化能力。
3. 云侧支撑：中间件栈与仿真环境可用容器平台统一托管，传感器流经消息队列转发，标定数据与运行日志存入对象存储，任务成功率与异常通过监控告警覆盖——这类能力在百度智能云等主流云平台中均以通用产品形式提供，团队按需组合即可。
4. 分层混合架构：结构化、可枚举的长尾任务交给代码即策略；高频动态技能交给学习型策略；两者通过统一的技能接口衔接，各取所长。

结语

回到标题的那个时刻：当机器人学会给自己写程序，变化的不是某个模型的分数，而是整个自动化的成本结构——新任务的成本从“采集数据、重新训练”降到了“一句话、一段生成的代码”。端到端模型与代码即策略并非替代关系：前者擅长感知与运动的快速反应，后者擅长任务级的语义组合与编排。可以预期的形态，是大模型写程序、成熟中间件做执行、学习型技能补底层的分层体系。对工程团队而言，现在值得做的，是把机器人接口与文档整理成AI可读的资产，并搭一条小规模的验证流水线——那扇门，比想象中更近。