logo

詹锟技术路线解析:VLA基座模型与传统自动驾驶架构对比

作者:狼烟四起2026.11.16 11:07浏览量:0

简介:本文以詹锟在自动驾驶基础模型、视觉语言动作模型和世界模型方向上的公开履历线索为背景,重点比较“VLA基座模型驱动”与“传统模块化自动驾驶”两类技术路线的目标、架构、训练方式、性能特征、工程成本和适用边界,帮助技术人员理解两种方案如何协同,以及在实际研发中应如何进行路线选择。

一、本文对比的两类技术路线是什么

围绕詹锟的职业经历,可以观察到自动驾驶研发重点正在从单一感知、预测和规划模块,逐步转向以基础模型为核心的系统化研发。为了准确理解这一变化,本文将相关技术抽象为两种方案:

  • 方案A:传统模块化自动驾驶架构
  • 方案B:以VLA基座模型为核心的端到端架构

这里的VLA通常指视觉—语言—动作模型。它尝试将车辆摄像头、雷达等传感器输入,与场景理解、任务指令、行为决策和车辆动作连接起来,使模型能够直接或间接生成驾驶动作。传统模块化架构则将系统拆分为感知、定位、预测、规划、控制等多个环节,每个环节承担相对明确的职责。

詹锟早期参与预测算法和自动驾驶架构建设,后续又转向视觉语言模型优化、端到端模型研发、世界模型和训练闭环等方向,这种经历正好反映了自动驾驶技术从“模块精细分工”向“模型统一学习”演进的过程。

二、两类方案的共同目标

虽然实现方式不同,但两种架构并不是完全对立的技术体系,它们都需要解决以下问题:

1. 对复杂道路环境进行稳定感知

无论采用哪种方案,系统都必须识别车辆、行人、道路边界、交通信号、障碍物和可行驶区域,并理解它们之间的关系。差异主要在于:模块化架构通常将识别结果显式传递给后续模块,而VLA方案更倾向于通过统一模型学习场景与动作之间的关联。

2. 进行风险判断和行为决策

自动驾驶系统不仅要知道“看到了什么”,还要判断“下一步做什么”。例如,在无保护左转、狭窄道路会车、行人突然横穿等场景中,系统需要综合道路结构、交通参与者意图和车辆自身状态做出决策。

3. 满足实时性和安全性要求

车辆控制具有明显的实时约束。模型即使具备较强的理解能力,如果推理延迟过高、输出不稳定或异常情况下无法降级,也难以直接部署。因此,推理帧率、延迟抖动、故障检测、冗余机制和安全边界都是两类方案共同关注的指标。

4. 依赖持续的数据闭环

自动驾驶无法仅依靠一次性训练完成。系统需要不断收集边缘场景、失败案例和用户接管数据,通过数据筛选、标注、训练、验证和部署形成闭环。詹锟所关注的世界模型与训练闭环,正是这一长期演进机制的重要组成部分。

三、核心架构差异

1. 系统边界不同

传统模块化架构通常具有较清晰的系统边界:

  1. 传感器输入
  2. ↓
  3. 感知
  4. ↓
  5. 定位与环境建模
  6. ↓
  7. 行为预测
  8. ↓
  9. 路径规划
  10. ↓
  11. 控制执行

每个模块可以独立开发、测试和替换。例如,感知模块负责生成目标列表,预测模块负责推测其他交通参与者的运动趋势,规划模块负责生成车辆轨迹,控制模块则将轨迹转换为转向、加速和制动指令。

VLA基座模型则试图缩短中间链路:

  1. 多模态传感器输入 + 任务上下文
  2. ↓
  3. VLA基座模型
  4. ↓
  5. 行为决策或动作序列
  6. ↓
  7. 安全控制与执行

这种架构并不意味着所有传统模块都会消失。实际工程中,通常仍需要保留车辆状态估计、底层控制、碰撞约束、紧急接管和安全监控等部分。更准确地说,VLA方案是将部分感知、预测和规划能力统一到可学习模型中。

2. 知识表达方式不同

模块化系统更依赖结构化中间结果,例如目标框、车道线、占用区域、轨迹点和交通规则状态。这种表达方式便于调试,也更容易定位问题。

VLA模型则可能在更高维的表示空间中处理场景信息。它可以同时学习视觉信息、语言描述、驾驶任务和动作结果之间的关系,对长尾场景和复杂语义具有更强的统一建模潜力。但其内部决策过程不一定天然透明,出现错误时,问题定位可能涉及数据、模型、推理链路和后处理多个环节。

3. 研发组织方式不同

模块化架构通常按功能划分团队,感知、预测、规划、控制和平台工程各自负责相应模块。VLA基座模型则需要模型算法、数据工程、训练平台、算力资源、芯片适配、仿真验证和车辆部署等团队协同工作。

詹锟后续负责基座模型研发和相关团队整合,体现的并不只是岗位变化,也反映出基础模型研发已经从单一算法问题,转变为涉及数据、模型、算力、软件和硬件的系统工程问题。

四、训练方式和数据闭环对比

对比维度 传统模块化架构 VLA基座模型架构
训练对象 各功能模块分别训练 统一模型或多任务模型联合训练
数据组织 按感知、预测、规划等任务拆分 更强调多模态、多任务和时序数据
标注需求 依赖较明确的结构化标注 可结合动作结果、轨迹、语言描述和偏好数据
问题定位 通常可定位到具体模块 可能涉及数据、模型和推理链路
长尾场景 依赖规则补丁和专项数据 有机会通过统一表征提升泛化能力
训练成本 单模块成本相对可控 需要更大的训练资源和更复杂的实验管理
部署方式 多模块组合部署 大模型推理与安全控制协同部署

模块化系统的优势在于问题边界清楚。例如,某类目标识别错误通常可以直接归因于感知模块。但当道路情况复杂、规则难以穷举时,多个模块之间的信息损失可能导致系统行为僵化。

VLA模型能够通过大量时序数据学习驾驶行为的整体模式,对“看见—理解—决策—执行”的联系进行统一优化。然而,这种方法对数据质量要求更高。单纯增加数据量并不能保证效果,数据覆盖、场景均衡、异常样本、驾驶风格、传感器同步和动作标签质量同样关键。

五、性能、实时性与硬件协同

传统模块化方案通常可以针对不同模块进行独立优化。高频控制模块可以使用轻量算法,复杂感知模块则采用更大模型,从而实现资源分配上的灵活性。

VLA方案往往需要更高的推理吞吐和更稳定的时延表现。模型规模扩大后,虽然可能带来更强的场景理解能力,但也会增加芯片计算压力、内存访问压力和功耗。詹锟曾关注VLA模型推理帧率及其与自研芯片融合,说明模型效果不能脱离硬件平台单独评价。

在实际部署中,应重点关注:

  1. 平均延迟与最坏延迟:平均速度较快并不代表极端场景下稳定。
  2. 推理帧率:帧率下降可能导致对快速目标反应滞后。
  3. 模型压缩效果:量化、剪枝和蒸馏可能影响精度,需要分场景验证。
  4. 芯片适配成本:算子支持、内存布局和编译优化会影响最终表现。
  5. 功耗与散热:车端设备需要长期运行,不能只看峰值算力。
  6. 降级机制:模型异常时,系统是否能够切换到更保守的驾驶策略。

因此,VLA模型研发与芯片设计之间存在较强耦合。模型结构、输入分辨率、序列长度和推理频率,都可能影响硬件资源规划;反过来,硬件的计算能力和存储结构也会限制模型部署方式。

六、安全性与可解释性差异

模块化方案较容易建立分层安全机制。系统可以对目标距离、碰撞时间、车辆横向偏差等指标设置约束,再由独立的安全模块进行校验。

VLA方案需要特别关注模型输出的不确定性。模型可能在训练数据覆盖不足时产生错误判断,因此通常需要增加:

  • 输出置信度评估;
  • 独立碰撞检测;
  • 轨迹合法性检查;
  • 车辆动力学约束;
  • 关键场景规则校验;
  • 异常输入识别;
  • 驾驶员接管或系统降级机制;
  • 全链路日志和事后回放能力。

这里的重点不是简单判断哪种方案更安全,而是看安全能力如何构建。模块化方案的风险可能来自模块衔接和规则遗漏,VLA方案的风险则可能来自数据分布变化、模型不可解释性和异常泛化。两者都需要独立验证体系,不能只依赖道路测试里程或单一指标。

七、适用场景如何选择

更适合采用模块化方案的场景

  • 车辆平台算力有限;
  • 研发团队需要快速定位问题;
  • 功能边界清晰,规则相对稳定;
  • 对认证、审计和过程可解释性要求较高;
  • 项目周期较短,需要分阶段交付;
  • 复杂模型训练数据尚不充分。

更适合引入VLA基座模型的场景

  • 需要处理大量开放道路和长尾场景;
  • 希望统一视觉理解、任务理解和驾驶动作;
  • 已经建立较完善的数据闭环与训练平台;
  • 具备持续投入算力和模型工程的能力;
  • 需要通过基础模型支持多车型、多传感器或多任务迁移;
  • 计划将模型能力与车端芯片进行协同优化。

在多数量产系统中,更现实的路径并非二选一,而是采用混合架构:由VLA模型承担复杂环境理解和高层决策,由规则、安全约束和底层控制模块负责边界保护与执行稳定性。

八、迁移与组织调整需要注意什么

从模块化系统迁移到VLA架构,最大的成本通常不在于替换一个模型,而在于研发流程和基础设施的变化。

首先是数据迁移。原有数据可能以目标框、车道线或轨迹标注为主,VLA训练还需要考虑连续时序、动作结果、场景上下文和失败原因,数据格式与质量标准都需要重新设计。

其次是验证体系迁移。模块化系统常按功能指标测试,而VLA系统需要增加端到端指标,例如场景完成率、接管率、舒适性、风险事件率和跨场景泛化表现。

再次是接口迁移。新模型可能改变感知、预测和规划之间的数据流,软件团队需要重新梳理接口、缓存、时序同步、版本管理和故障回退逻辑。

最后是组织协同。基座模型团队、软件团队、硬件团队和测试团队如果仍按旧边界各自推进,容易出现模型效果与车端部署脱节。因此,基础模型研发需要建立统一的版本管理、数据闭环、仿真评测和量产发布机制。

九、选型判断清单

技术负责人可以从以下问题出发:

  1. 当前主要瓶颈是感知精度、规则复杂度,还是数据闭环效率?
  2. 车端硬件能否满足模型推理的时延、功耗和存储要求?
  3. 是否具备足够的长尾场景数据和持续训练能力?
  4. 出现异常行为时,能否快速定位和回滚?
  5. 是否有独立的安全约束和降级链路?
  6. 研发团队是否能够同时覆盖模型、数据、软件和硬件?
  7. 新架构带来的收益,是否足以覆盖迁移与维护成本?
  8. 是否需要保留模块化能力作为安全冗余或过渡方案?

如果这些问题尚未得到明确回答,直接进行全面替换通常风险较高。更稳妥的方式是先选择有限场景进行试点,通过离线回放、仿真测试和封闭道路验证逐步扩大范围。

十、总结

以詹锟经历为线索,可以看到自动驾驶技术正在从单模块优化,转向VLA基座模型、世界模型、训练闭环和软硬件协同发展的综合路线。传统模块化架构在可解释性、工程可控性和问题定位方面具有优势;VLA基座模型则在统一建模、复杂场景理解和跨任务迁移方面展现出潜力。

两种方案的核心差异,不只是“模型大小不同”,而是系统边界、数据组织、研发流程、硬件依赖和安全机制都发生了变化。对于追求稳定交付的系统,应重视模块化架构的可控性;对于需要持续处理开放环境和长尾场景的系统,则可以逐步引入VLA模型,并通过安全模块、硬件协同和数据闭环降低部署风险。最终选择应基于业务目标、算力条件、数据基础、团队能力和安全要求,而不是单纯依据技术概念的先进程度。

发表评论

活动