VLM-VLA选型指南:边界、方法与上线验证
作者:谁偷走了我的奶酪2026.11.18 11:51浏览量:0简介:本文面向自动驾驶算法与产品评估者,说明VLM-VLA的概念边界与核心组成,拆解长尾数据构建、思维链推理和强化学习微调三类方法,对比VLM-VLA与模块化方案的选型差异,并给出上线前的验证清单与安全兜底措施。读完可判断该技术适合哪些场景,以及如何组织落地工作。
一、概念与边界
VLM-VLA是自动驾驶领域的一类技术路线,不特指某个具体模型或产品。它以视觉语言模型(Vision-Language Model,VLM)为基础。VLM能同时理解图像和文本,回答“前方是什么”“这里有什么风险”之类的问题。视觉语言动作模型(Vision-Language-Action,VLA)在VLM之上增加动作输出,直接给出轨迹、转向或速度决策。
典型的VLA以VLM类能力为基础,因此可以把它看作VLM能力的延伸。但这一点并非绝对。部分VLA采用专用结构,不依赖大规模预训练的视觉语言模型,只是在动作数据上训练。评估时应先确认具体方案的底座,不能仅凭名称判断其能力。
这一路线的边界需要明确。它擅长处理需要语义理解的场景,但输出的动作仍要经过控制层和安全约束层才能执行。它不能替代车辆的基础安全机制,例如自动紧急制动(AEB)和车身稳定控制。它在不同场景下的表现也可能差异较大,需要通过验证确认其稳定区间。
适合使用该路线的问题包括:需要理解施工围挡、交警手势、临时标识等语义信息的场景;规则不在地图中、需要现场判断的场景;以及需要对未见过的物体给出风险判断的场景。不适合的问题包括:对时延极敏感且语义需求弱的基础跟车、车道保持等功能;缺少足够验证数据和安全兜底设计的场景。
二、背景与长尾场景
传统自动驾驶多采用模块化流水线:感知模块检测目标,预测模块估计未来位置,规划模块生成轨迹,控制模块执行。这种结构可解释、便于调试,但有三个常见问题。
第一,误差逐级传递。上游漏检或误检会影响下游决策。
第二,各模块多基于固定类别训练,对未见过的物体、规则和路面形态适应性较弱。
第三,缺少对场景语义的整体推理。例如“施工区域内临时改道”需要综合理解围挡、指示牌、交警手势和车道状态,单一模块难以完成。
长尾场景正是这些问题的集中体现。以下四类场景在采集数据中出现频率低,但对安全影响大。
- 道路边界模糊:没有清晰车道线,路肩与可行驶区域难以区分,常见于乡村道路和施工区域。
- 临时交通规则变化:临时交警指挥、临时限速、围挡导致的通行方向变化,这些规则通常不在地图数据中。
- 非常规动态障碍物:掉落物、推车、动物、飘动的遮挡物等,它们不属于常见检测类别,运动方式也不规则。
- 复杂交互路况:无保护左转、拥堵中的强行汇入、多方交互的路口,需要预测其他参与者的意图。
每类场景都需要对应的数据构建与验证口径,否则分类只停留在概念层面。
对于道路边界模糊场景,采集时应覆盖不同季节、雨雪和夜间条件,并记录路肩材质和标线缺失程度。标注时需区分“可行驶”“不可行驶”“需谨慎通行”三种状态。回放验证时,重点看边界误判率和偏离可行驶区域的次数。
对于临时规则场景,采集时应记录交警、围挡和临时标识的出现位置与时间段。标注需同时记录规则内容和生效范围。验证时统计规则识别的正确率,以及车辆是否在规则生效区域内执行了对应动作。
对于非常规障碍物场景,应按物体类型、运动状态和遮挡程度分别建立样本库。验证时关注漏检率、误判为可通行的次数,以及车辆在检测不确定时是否减速或停车。
对于复杂交互场景,应记录他车的速度、灯光和车身朝向,标注其意图(例如汇入、让行、抢行)。验证时统计冲突次数、最小安全距离和碰撞时间(TTC)。
VLM-VLA的价值主要在两点。其一,视觉语言模型能用开放词汇描述未见过的物体,并借助常识推理判断风险。其二,动作输出让判断直接对应控制决策,减少中间环节的信息损失。这些价值的实际大小取决于数据覆盖、验证充分性和安全兜底设计,不能视为通用保证。
三、核心组成
一个典型的VLM-VLA系统通常包含五个部分。
3.1 视觉编码器
视觉编码器把摄像头图像转换为特征序列。常见做法是使用预训练的视觉Transformer,将图像切分为图块(patch)后编码。
多摄像头输入时,常见两种融合方式。第一种是把各视角特征拼接后统一编码,信息交互充分,但序列变长,计算量随之上升。第二种是各视角分别编码,再在后续层中融合,计算较轻,但跨视角的遮挡关系可能丢失。选型时应根据算力和对跨视角关系的依赖程度决定。
编码方式会影响远距离小目标的识别效果,需要在评测中单独检查。建议使用召回率和远距离误检率作为指标,并按距离分段统计。例如将目标分为近、中、远三段,分别报告召回率和误检数量。
3.2 语言模型骨干
语言模型骨干接收视觉特征与文本提示,例如导航指令、路线信息或历史状态描述,完成跨模态融合与推理。骨干通常是参数规模较大的预训练语言模型,经过视觉对齐训练后具备图文理解能力。
参数规模越大,推理延迟通常越高。车端部署时,可采用模型压缩或分级调用。分级调用的一种做法是:简单场景使用小模型,复杂或低置信场景再调用大模型。触发条件应基于实测确定,例如感知置信度低于阈值、检测到多个未知对象或规则冲突时才触发。压缩后的模型需要重新验证语义识别精度,不能假设其能力与原模型一致。
3.3 动作表示
动作的表示方式直接影响精度与推理效率。常见方式有三类,见下表。
| 维度 | 离散分词 | 连续回归头 | 混合方式 |
|---|---|---|---|
| 输出形式 | 轨迹点量化为词表token,按文本生成 | 语言模型输出后接回归网络,预测连续坐标 | 粗粒度用token表示意图,细粒度用回归修正 |
| 精度 | 受量化粒度限制,精细轨迹误差较大 | 较高,适合平滑轨迹 | 介于两者之间,依赖两部分的衔接设计 |
| 推理效率 | 与普通文本生成相近,实现复用性好 | 需额外回归模块,增加少量延迟 | 结构复杂,延迟随设计变化 |
| 实现复杂度 | 低 | 中 | 高 |
| 适用条件 | 早期验证、对轨迹精度要求不高的场景 | 需要平滑、连续控制的场景 | 工程资源充足、需要兼顾意图与精度的场景 |
连续回归头的主要缺点是训练目标与语言建模目标不完全一致。两者需要联合调参,否则回归结果与文本推理结论可能不一致。
选型时可按以下顺序判断。先看轨迹精度要求,如果需要平滑连续控制,优先考虑连续回归头或混合方式。再看延迟预算,如果车端算力紧张,离散分词的实现和推理路径更简单。最后看工程资源,混合方式效果上限较高,但需要更多调试时间和更完善的测试体系。
3.4 提示与上下文输入
提示部分包括导航指令、交通规则摘要、历史轨迹和车辆状态。上下文越长,计算量越大。实践中应只保留与当前决策相关的信息。
上下文裁剪有几条原则。历史轨迹只保留最近若干秒,时间窗长度按控制周期和决策需要确定。导航指令只保留未来一段距离内的路口和车道变化。交通规则按地理位置检索,只加载车辆当前所在路段的规则。车辆状态保留速度、加速度、转向角等直接影响控制的字段。
上下文长度上限应通过实测确定。方法是在目标硬件上,按不同输入长度分档测量端到端推理延迟,统计P95和P99分位数,然后找到满足控制周期要求的最大长度。同时需要测量决策一致性,即相同场景下不同长度的输出是否稳定。
长上下文有明显的延迟和显存成本。注意力计算的开销随序列长度增长,输入越长,首帧延迟和显存占用都会上升。长上下文还可能让模型忽略关键信息,例如施工标志位于提示末尾时被漏读。因此验证时应加入关键信息召回率指标,检查模型是否引用了应引用的规则和对象。
建议的验证指标包括:不同上下文长度下的P95与P99推理延迟、决策一致性、关键信息召回率,以及因上下文遗漏导致的错误决策次数。
四、关键方法
VLM-VLA在实际项目中通常依赖三类方法:长尾数据构建、思维链推理和强化学习微调。三者分别解决数据、推理过程和决策优化的问题。
4.1 长尾数据构建
长尾数据构建包括场景分类、采集、标注和回放四个步骤。
第一步是场景分类。在前文四类场景的基础上,增加道路类型、天气、光照和交通密度等维度,建立统一的标签体系。标签之间应尽量正交,避免同一段视频被重复计入多类。
第二步是采集。采集应设置触发规则,例如感知置信度低、人工接管、急刹、规则冲突等情况自动标记片段。对于稀有场景,应设定配额,确保每类场景有足够样本。配额数量应根据场景的稀有程度和评测要求设定,不宜直接套用固定数字。
第三步是标注。标注规范需要区分事实标签和意图标签。事实标签包括围挡位置、车道数和标志内容,客观性较强。意图标签包括他车是否汇入、行人是否准备过街,主观性较强。对意图标签应采用双人标注,并定期抽检计算一致率。一致率偏低时,应先修订标注规范,再扩充样本。
第四步是回放。采集的片段应在仿真环境中回放,检查系统的决策是否符合预期。核心指标包括碰撞率、最小安全距离、碰撞时间(TTC)和人工接管次数。回放结果应与采集时的人工判断对照,找出系统的盲区。
4.2 思维链推理
思维链(Chain-of-Thought,CoT)推理让模型在输出动作前,先写出判断过程。它的价值在于让决策过程可以被检查,但也会增加延迟和出错面。
触发条件应有选择地设定。简单直行或车道保持场景通常不需要启用思维链,以控制延迟。复杂路口、施工区域和低置信场景再启用。
输出结构建议固定为三段。第一段列出场景要素,包括识别到的对象、规则和车辆状态。第二段给出风险判断,说明哪些因素构成威胁、威胁等级如何。第三段给出动作决策。采用结构化格式(例如JSON)便于日志记录和事后审计。
推理文本不等于事实。模型写出的对象和规则需要与感知结果交叉校验。如果推理中提到的对象在感知结果中找不到,应判定为幻觉风险,并降低该决策的执行优先级。
失败兜底是必须设计的部分。当推理超时、输出格式不合规或置信度低时,系统应回落到模块化规划或预设的降级策略,例如减速、保持车道或靠边停车。兜底路径应单独测试,并纳入上线验证范围。
4.3 强化学习微调
强化学习微调用于优化动作决策。它的关键在于奖励设计、仿真闭环和安全约束。
奖励设计应把安全放在首位。碰撞、TTC过低和越过实线等安全项权重最高。舒适项包括加速度和加加速度(jerk)变化,权重次之。效率项包括通行时间,权重最低。如果奖励只追求通行速度,模型可能学会冒险穿行,这种现象称为奖励被利用,需要通过安全项的硬约束和评测指标加以防范。
仿真闭环是训练和评测的基础。场景来源可包括真实回放和参数化生成。真实回放贴近实际分布,参数化生成可补充稀有场景。训练集与评测集必须分离,避免模型在见过的场景上取得虚高指标。
安全约束可采用约束优化,或在控制层设置硬限制。无论采用哪种方式,输出动作都应经过控制层限幅,例如限制最大加速度、转向角速度和横向偏移量。
微调后需要做回归测试。强化学习容易导致模型遗忘原有的通用能力,例如交通标志识别能力下降。因此每次微调后,应在通用场景集上检查指标是否退化,退化超过阈值时应回滚版本。
五、选型与落地
5.1 VLM-VLA与其他方案对比
选型应先对比方案在关键维度上的差异。下表对比VLM-VLA、模块化方案和纯端到端控制模型。纯端到端控制模型指不使用语言推理,直接从感知输入学习控制输出的模型。
| 维度 | VLM-VLA | 模块化方案 | 纯端到端控制模型 |
|---|---|---|---|
| 适用场景 | 语义理解需求强的长尾场景,如施工区域、交警指挥 | 结构化道路和规则明确的常规场景 | 结构化场景中的驾驶行为模仿,语义需求较弱的场景 |
| 数据需求 | 需要图文对齐数据和长尾场景数据,标注成本高 | 需要各模块的标注数据,数据量要求分模块而定 | 主要依赖驾驶轨迹数据,但长尾覆盖依赖采集规模 |
| 延迟 | 受模型规模和上下文长度影响,通常较高,需分级调用 | 各模块延迟可分别优化,整体链路较长 | 通常较低,但取决 |

登录后可评论,请前往 登录 或 注册