RL与SFT：具身大模型泛化性提升的双路径技术解析

一、概念定义：具身大模型与泛化性挑战

具身大模型（Vision-Language-Action Model, VLA）是融合视觉、语言与动作决策能力的多模态智能体，其核心目标是通过环境交互实现复杂任务的自主完成。与传统大语言模型（LLM）不同，VLA需处理动态环境中的多步决策问题，例如机器人操作、自动驾驶等场景。这类任务面临两大挑战：

1. 部分可观测性：环境状态无法被完全感知，需通过历史信息推断当前状态（POMDP特性）；
2. 非平稳性：动作执行会持续改变环境，导致训练数据分布随时间动态变化。

泛化性（Generalization）在此场景下指模型在未见过的环境或任务中的适应能力。例如，训练于室内场景的机器人能否在户外复杂地形中稳定行走。提升泛化性是VLA从实验室走向实际应用的关键瓶颈。

二、技术背景：RL与SFT的路径选择

当前提升VLA泛化性的主流方法分为两类：

1. 强化学习（RL）路径：通过环境反馈（奖励信号）优化策略，直接学习动作与长期收益的关联。典型算法包括PPO（近端策略优化）、DPO（直接偏好优化）、GRPO（组相对策略优化）等。
2. 监督微调（SFT）路径：基于人类示范数据或合成数据，通过监督学习调整模型参数，使其输出更贴近期望行为。例如行为克隆（Behavior Cloning）或指令微调（Instruction Tuning）。

清华大学团队在NeurIPS 2025的研究中，首次系统性对比了RL与SFT在机器人控制任务中的泛化性差异，其结论颠覆了部分行业认知：经典RL算法PPO在多步决策任务中显著优于专为语言模型设计的DPO与GRPO。

三、核心实验：RL算法性能差异解析

研究团队选取三种代表性RL算法进行对比测试：
| 算法名称 | 典型应用场景 | 核心机制 |
|——————|——————————————|—————————————————-|
| PPO | 机器人控制、游戏AI | 策略梯度优化，通过裁剪概率比保证稳定性 |
| DPO | 大语言模型对齐 | 直接优化策略相对于参考策略的偏好 |
| GRPO | 数学推理、代码生成 | 引入组级相对优势估计，提升样本效率 |

实验设置：

• 任务：机器人完成“取物-放置”多步操作，环境包含动态障碍物与光照变化。
• 评估指标：任务完成率、动作效率、泛化误差（新环境中的性能下降比例）。

关键发现：

1. PPO的显著优势：在所有测试场景中，PPO的任务完成率比DPO高27%，比GRPO高19%。其优势源于对环境非平稳性的鲁棒性——PPO通过概率比裁剪机制限制策略更新幅度，避免了GRPO因优势估计偏差导致的策略崩溃。
2. DPO与GRPO的局限性：
   • DPO依赖参考策略的稳定性，但在机器人任务中，环境状态变化导致参考策略快速过时；
   • GRPO的组级优势估计假设数据分布独立同分布（i.i.d.），而机器人任务中动作序列存在强时序依赖，破坏了这一假设。

四、技术原理：为何PPO更适配VLA？

PPO的核心优势可归结为三点：

1. 信任域约束：通过限制新旧策略的概率比（clip(r, 1-ε, 1+ε)），避免单次更新步长过大导致策略性能崩溃。这在环境动态变化时尤为重要。

   # PPO概率比裁剪伪代码示例
   def clip_ratio(new_prob, old_prob, epsilon=0.2):
       ratio = new_prob / old_prob
       return torch.clamp(ratio, 1-epsilon, 1+epsilon)

2. 价值函数辅助：PPO同时训练策略网络与价值网络，价值函数提供状态长期价值估计，帮助策略区分短期奖励与长期收益。例如，机器人可能需绕行障碍物以获取更高最终奖励。
3. 经验回放与重要性采样：通过缓存历史经验并调整采样权重，缓解环境非平稳性对训练的影响。

相比之下，DPO与GRPO的设计初衷是解决语言模型中的离散决策问题（如文本生成），其假设环境状态变化缓慢或可忽略。当应用于连续动作空间与动态环境时，这类算法的优势估计机制易失效。

五、典型场景：RL与SFT的适用边界

根据研究结论，两类技术的适用场景可归纳如下：
| 技术路径 | 优势场景 | 局限性 |
|———————|———————————————————-|——————————————————-|
| RL（如PPO） | 动态环境、多步决策、长周期任务 | 样本效率低，需大量环境交互 |
| SFT | 静态环境、单步决策、规则明确的任务 | 依赖高质量示范数据，泛化性受限 |

具体案例：

• 工业机器人分拣：若物品摆放位置固定但光照变化（动态环境），RL（PPO）可通过在线探索适应不同光照条件；SFT则需为每种光照条件采集示范数据，成本高昂。
• 客服对话系统：若任务为根据用户输入生成回复（静态环境），SFT可通过微调快速适配特定领域话术；RL在此场景中收益有限，因对话的长期奖励难以定义。

六、优化方向：结合RL与SFT的混合路径

单一技术路径的局限性促使研究者探索混合方法。例如：

1. RL初始化+SFT微调：先用RL在简单环境中训练基础策略，再通过SFT在目标环境中微调，兼顾探索效率与泛化性。
2. 偏好引导的RL：将人类偏好（如安全性、效率）转化为奖励信号，结合DPO的思想优化RL训练过程。
3. 世界模型辅助：通过构建环境动力学模型（World Model），减少RL对真实环境交互的依赖，提升样本效率。

七、使用注意事项：技术选型的关键考量

企业在选择技术路径时需权衡以下因素：

1. 环境动态性：若环境状态变化频繁（如户外机器人），优先选择RL；若环境稳定（如室内固定路线导航），SFT可能更高效。
2. 数据成本：RL需大量环境交互，可能涉及硬件损耗；SFT依赖示范数据，需考虑人工标注或合成数据生成成本。
3. 安全约束：RL的在线探索可能引发危险动作（如机器人碰撞），需结合安全层设计（如约束强化学习）。
4. 计算资源：RL通常需分布式训练框架（如Ray、Horovod），而SFT可基于单卡微调，对硬件要求较低。

八、总结：技术路径无绝对优劣，适配场景是关键

清华大学团队的研究揭示了RL与SFT在VLA泛化性提升中的本质差异：RL通过环境交互学习鲁棒策略，更适配动态多步决策任务；SFT通过数据驱动对齐人类偏好，擅长静态规则明确场景。未来，随着混合方法与世界模型技术的发展，两类技术的边界可能进一步模糊，但“场景适配”始终是技术选型的核心原则。对于开发者而言，理解任务的环境特性、数据可用性与安全约束，是选择最优路径的关键第一步。