具身与空间智能模型评测方法与选型落地指南

一、评测概述：深度感知模型怎么评测、具身智能选型看什么指标

近两年，具身智能与空间智能成为大模型、机器人、三维视觉和自动驾驶等领域共同关注的方向。围绕这一方向，出现了多种模型形态：用于三维环境理解的深度感知模型、将视觉与语言指令映射为动作的视觉-语言-动作模型（VLA）、直接从视觉观测生成动作序列的视觉-动作模型（VA），以及用于空间布局理解和语义地图构建的空间智能相关模型。

很多研发团队、架构师和技术负责人在实际落地时，经常会提出类似问题：深度感知模型怎么评测？具身智能选型看什么指标？VLA模型压测方法是什么？视觉-动作模型是否适合直接替换视觉-语言-动作模型？空间智能模型能否支撑实时控制？这些问题不能只靠榜单排名回答，也不能只看单次演示效果。真正可靠的评测，必须结合业务目标、系统规模、运行环境、使用成本和长期维护需求进行综合判断。

本文面向开发者、架构师与技术负责人，系统梳理具身智能与空间智能相关模型的评测思路。文章重点不是给出“某个模型最强”的绝对结论，而是提供一套可观察、可验证、可解释、可复用的评测框架，帮助读者判断某类模型是否契合自身业务，是否能长期稳定运行，以及是否值得进一步投入。

二、评测目标：先明确要回答的问题

在动手测试前，先要明确评测要回答的核心问题。不同业务目标对应不同指标权重，如果一开始没有明确目标，很容易陷入“测了很多指标，但无法指导决策”的困境。

通常需要回答以下问题：

• 能力边界：模型能完成哪些任务，不能完成哪些任务？
• 精度水平：深度估计、动作生成、指令理解等输出是否满足业务精度要求？
• 运行效率：推理时延、吞吐量、并发能力和资源消耗是否在可接受范围内？
• 稳定程度：异常输入、资源紧张、网络波动、长时间运行下是否可靠？
• 接入成本：集成到现有系统的改造成本、学习成本和运维成本有多高？
• 安全合规：权限控制、数据脱敏、传输加密、日志审计是否满足要求？

例如，若目标是机器人实时避障，时延、稳定性和安全性权重最高；若目标是离线三维重建，则深度精度、吞吐量和数据处理效率更关键；若目标是语义任务执行，则需要重点看指令理解准确率、动作合理性和任务完成率。

三、评测对象说明与不适用边界

具身与空间智能相关模型类型较多，不同模型的输入、输出和适用边界并不相同。设计评测方案前，需要先理解每类模型解决的问题，避免把不相关的能力要求强加到某一类模型上。

模型类型	主要输入	典型输出	解决的核心问题	不适用边界
深度感知模型	单目/多目图像、RGB-D数据	深度图、点云、三维几何表示	恢复场景三维结构，支持距离、遮挡、空间布局判断	不负责动作决策，不天然理解语言指令，对透明、反光、弱纹理场景可能不稳定
视觉-语言-动作模型（VLA）	图像观测 + 自然语言指令	动作序列、控制量、任务步骤	让智能体根据语义指令完成任务	对语义理解敏感，指令歧义、分布外表达、长程任务复杂化时可能下降
视觉-动作模型（VA）	图像观测、状态信息	动作序列、控制量	直接由视觉驱动行为，适合固定技能或局部控制	对语言指令依赖低，但对复杂目标泛化能力可能弱于VLA
空间智能相关模型	多视角图像、视频、点云	空间布局、语义地图、关系图	理解三维空间关系，支持场景重建与推理	不等同于实时控制系统，可能存在推理延迟，需要与规划控制模块配合

理解这些边界非常重要。例如，深度感知模型可以判断物体距离和空间结构，但不能直接决定是否抓取某个物体；视觉-动作模型可以执行局部动作，但未必能理解“把红色杯子放到桌子左边”这类复杂语义指令。

四、评测维度设计：从“能不能用”到“如何判定”

具身与空间智能模型的评测不能只停留在“效果好不好”，而应该拆解为可观察、可量化、可复现的指标。

1. 功能完整性

功能完整性主要看模型是否覆盖典型使用流程。例如，感知—推理—动作闭环是否跑通，是否支持常见输入格式，是否能输出业务所需结构，是否能对接现有调度、规划、控制或地图系统。

需要检查：

• 是否支持图像、视频、点云或RGB-D等常见输入；
• 是否支持批量、流式、单帧、多帧调用；
• 是否能输出深度图、动作序列、任务状态、置信度等必要字段；
• 是否支持异常返回码、超时控制、版本管理；
• 是否能与现有机器人、仿真平台、三维重建管线或业务系统对接。

2. 准确性与有效性

不同模型类型的准确性指标不同，必须分别设计口径。

深度感知模型评测指标

深度感知模型常见的评测指标包括：

• 绝对误差（Abs Error）：预测深度与真实深度的平均绝对差；
• 绝对相对误差（Abs Rel）：相对误差的平均值，适合观察不同距离下的误差比例；
• RMSE：均方根误差，对较大误差更敏感；
• δ < 1.25：预测深度与真实深度比值在一定范围内的像素比例，常用于判断深度估计一致性；
• 深度尺度对齐：单目深度模型可能只输出相对深度，需要通过最小二乘、中值比值或标定参数对齐到真实尺度；
• 多帧一致性：在视频或多视角场景下，同一静态区域在相邻帧之间的深度变化是否稳定。

计算口径建议如下：

1. 先定义有效像素掩码，排除无效深度、遮挡边界、天空、反光区域等不适合统计的像素。
2. 若预测深度为相对尺度，先在验证集上估计尺度因子或对齐参数，并在测试集固定应用，避免测试集信息泄漏。
3. 深度误差计算应在统一分辨率或重投影到统一视锥后进行。
4. δ < 1.25 可定义为：对每个有效像素，若 max(d_pred / d_gt, d_gt / d_pred) < 1.25，则计为一致像素，最后统计一致像素占比。
5. 多帧一致性可通过相邻帧同一区域深度差的均值、分位数或重投影误差衡量。
6. 结果应区分近距离、中距离、远距离场景，而不是只给一个总体平均值。

视觉-语言-动作与视觉-动作模型评测口径

VLA和VA模型的评测不能只看“动作看起来合理”，而应建立固定任务集和成功判定标准。

建议评测口径包括：

• 固定任务集：按任务类型、场景难度、物体类别和交互方式划分，例如抓取、放置、移动、避障、开合、分拣等。每个任务的初始状态、目标状态、允许时间或最大步数应固定。
• 成功判定标准：不能只凭人工观感判断。应明确目标状态是否达成，例如物体是否进入目标区域、抓取是否保持、任务是否在规定步数内完成、是否发生碰撞或越界。
• 失败注入类型：包括遮挡、模糊、噪声、极端光照、物体缺失、指令歧义、动作约束、依赖服务异常、资源紧张等。
• 随机种子：固定环境随机种子、模型采样种子和动作采样种子。若无法完全固定，应记录随机性和重复次数。
• 重复次数：每个任务建议至少重复3次；关键任务建议重复5至10次。如果需要对成功率做统计推断，应根据目标置信水平计算样本量。
• 统计方式：建议报告任务成功率、平均完成步数、平均耗时、失败原因分布，并可使用Wilson置信区间或Bootstrap方法给出区间估计，而不是只报单次结果。

例如，对于“将积木放入目标盒子”的任务，可以定义：物体中心进入目标区域且保持2秒以上、无越界、无碰撞、最大步数不超过阈值，则判定为成功。这样才能形成可比较、可复现的评测结论。

3. 性能表现

性能评测包括推理时延、吞吐量、并发能力、资源占用和扩展性。这些指标必须通过压测获得，不能预设。

建议关注：

• 单帧推理时延、批处理时延；
• P50、P95、P99时延，而不是只看平均值；
• 不同分辨率、不同batch size、不同输入长度下的吞吐变化；
• GPU显存、内存、CPU、网络带宽占用；
• 并发提升后是否出现排队、超时、错误率上升；
• 多实例部署时的扩展线性度。

对于VLA模型压测，需要同时观察任务成功率、动作生成时延、控制频率和错误恢复能力。只追求高吞吐并不够，如果动作频率跟不上控制需求，业务上仍不可用。

4. 稳定性

稳定性评测关注模型在真实运行中是否可靠。需要覆盖：

• 长时间连续运行；
• 异常图像输入，如遮挡、模糊、过曝、低照度；
• 网络波动和远程推理链路抖动；
• 依赖服务异常，如存储、消息队列、地图服务不可用；
• 显存或内存紧张；
• 模型版本切换、配置变更、数据漂移。

稳定性结论不能只看一次运行结果，应观察一段时间内的错误率、恢复时间、崩溃次数、输出异常率和人工介入频率。

5. 易用性与兼容性

易用性影响落地速度。需要评估：

• 接入流程是否清晰；
• 配置项是否复杂；
• 文档是否完整；
• 调试是否方便；
• 是否支持容器化部署；
• 是否适配CPU/GPU、不同驱动版本、不同运行时；
• 是否支持常见数据格式和接口规范。

6. 安全性与合规要求

具身智能模型往往涉及摄像头、机器人控制、空间数据和用户指令，安全验证不能省略。最小合规要求应包括：

• 鉴权：API调用、模型访问和任务下发需要身份认证；
• 权限矩阵：明确不同角色可访问的数据、模型和动作接口；
• 数据脱敏：日志、监控、样本回放中的人脸、车牌、敏感位置等信息应脱敏；
• 传输加密：图像、点云、指令和动作数据在传输过程中应使用加密通道；
• 审计日志：记录调用方、时间、样本ID、模型版本、输出结果和异常事件；
• 敏感数据上传禁用提示：当检测到疑似敏感数据或未经授权数据时，应提示禁用上传，并记录事件。

7. 可观测性与成本结构

可观测性包括日志、指标、监控告警、链路追踪、版本记录和故障定位能力。成本结构包括算力成本、人力成本、迁移成本、长期运维成本和模型迭代成本。成本应尽量基于实测或报价单，不宜凭空虚构。

五、评测环境与样本量建议

评测前需要固定环境，保证结果可复现。

需要记录：

• 硬件资源：GPU型号、显存、CPU、内存、磁盘、网络带宽；
• 软件环境：框架版本、运行时版本、依赖库版本、驱动版本、容器镜像版本；
• 数据集：合成数据与真实数据比例、采集设备、场景分布、标注口径；
• 调用方式：批量/流式、单帧/多帧、同步/异步、是否带重试；
• 网络条件：本地推理、远程推理、边缘节点、链路抖动和带宽限制。

样本量建议覆盖四类场景：

1. 典型场景：业务中最常见、最标准的输入；
2. 边界场景：近距离、远距离、遮挡、反光、弱光、复杂背景；
3. 异常输入：格式错误、缺失帧、损坏文件、超长指令、非法动作；
4. 长时间运行样本：用于观察稳定性、漂移和累积错误。

样本优先级建议为：核心业务场景优先，边界场景次之，异常输入再次，长时间稳定性最后。核心任务每类可准备不少于10条样本，边界场景每类不少于5条，异常输入不少于一组完整故障集合。

六、评测方法：可复现流程与记录模板

建议按以下流程开展评测：

1. 明确评测目标，确定核心指标权重
2. 准备测试样本，覆盖典型、边界、异常与长稳场景
3. 建立基线，在同条件下记录基础表现
4. 分维度验证，分别测试功能、性能、稳定性、安全
5. 控制变量，保持环境、数据、调用方式一致
6. 记录过程，包括响应、错误、日志、资源占用
7. 分析结果，区分能力边界与场景约束
8. 形成建议，指出优化方向而非简单好坏

功能验证

准备覆盖感知、语言理解、动作生成的样例，验证端到端流程是否跑通。重点不是单次成功，而是观察失败原因是否可定位、错误是否可重试、降级策略是否有效。

性能压测

逐步提升并发与请求量，观察时延、吞吐、资源占用和错误率曲线，找到系统拐点。压测时应固定输入分布，避免不同批次样本难度差异过大导致结论偏差。

稳定性观察

长时间连续运行，注入异常输入，例如遮挡、模糊、极端光照、错误指令、资源紧张等，观察模型是否崩溃、输出是否异常、是否能自动恢复。

安全检查

验证认证、权限、脱敏、加密、审计日志和敏感数据上传禁用提示是否生效。尤其要关注机器人动作接口、视频回传、模型更新和远程控制入口。

可复用评测记录模板

为保证结果可核验，建议每条评测记录至少包含以下字段：

字段	说明
样本ID	唯一标识输入样本或任务编号
硬件配置	GPU、CPU、内存、网络等
软件版本	模型、框架、依赖库、镜像版本
输入输出摘要	输入类型、输出结构、关键字段
时延	单帧、批次或任务级时延
错误码	失败类型与错误码
资源峰值	显存、内存、CPU、带宽峰值
结论	是否通过、是否满足业务阈值
风险备注	样本偏差、环境限制、待观察问题

评测框架伪代码

# 通用评测框架伪代码
def evaluate(model, samples):
    results = {"accuracy": [], "latency": [], "errors": []}
    for sample in samples:
        start = now()
        try:
            output = model.infer(sample)
            score_value = score(output, sample.ground_truth)
            results["accuracy"].append(score_value)
        except Exception as e:
            results["errors"].append({
                "sample_id": sample.id,
                "error": str(e),
                "type": classify_error(e)
            })
        results["latency"].append(now() - start)
    return summarize(results)

错误分类与处理建议

评测过程中应将错误分类，而不是只记录“失败”。建议分为：

• 输入异常：样本格式错误、缺失帧、尺寸超限、非法指令；
• 推理异常：超时、显存不足、输出异常、模型崩溃；
• 依赖异常：网络抖动、存储不可用、消息队列异常、地图服务失败。

处理建议：

• 输入异常：拒绝或降级，不应盲目重试；
• 推理异常：有限重试、切换轻量模型、降低分辨率、熔断；
• 依赖异常：切换备用链路、使用缓存、记录告警并限制流量。

七、结果解读：条件化表达比绝对结论更重要

结果解读的关键是条件化表达。一个模型在某个测试集上表现好，不代表在所有业务场景中都可用。

需要注意：

• 时延低不代表可用，若精度不足或稳定性差，仍不适配业务；
• 高吞吐可能伴随高资源消耗，需要权衡成本；
• 在特定场景表现好，不代表泛化到未见场景仍好；
• 单次成功不代表长期稳定，需结合重复实验和长时间运行观察；
• 平均值可能掩盖长尾问题，应结合P95、P99和失败样本分析。

结果解释时，应说明测量口径、样本量、重复次数和统计方式。若样本量较小，应谨慎给出结论；若关键指标存在较大波动，应给出置信区间或至少说明离散程度。性能差异可能来自资源配置、缓存策略、网络链路、数据规模、并发模型或依赖组件，而不一定是模型本身绝对优劣。

八、适用场景与指标权重示例

不同场景下，指标权重应有所区别。

场景	关键指标	权重示例
实时机器人控制	时延、稳定性、安全性、动作合理性	时延30%，稳定性25%，安全20%，精度15%，成本10%
离线三维重建	深度精度、吞吐、数据一致性	精度35%，吞吐25%，稳定15%，成本15%，易用10%
语义任务执行	指令理解、任务成功率、动作合理性	指令理解30%，成功率25%，稳定20%，安全15%，成本10%
企业级生产系统	安全、可观测性、可维护性	安全30%，可维护25%，性能20%，成本15%，功能10%

权重并非固定标准，团队可以根据自身业务 SLA、风险容忍度和资源预算调整。

九、风险与限制

评测本身也存在边界。常见风险包括：

• 样本偏差导致结论过度乐观；
• 仿真环境与真机环境差异较大；
• 数据质量不足影响指标可信度；
• 资源限制导致无法覆盖真实并发；
• 长时间运行后模型性能漂移；
• 安全审计不充分导致敏感数据泄露。

因此，任何评测结论都应注明适用条件。合成的“完美场景”往往高估能力，真实复杂场景则可能暴露短板。评测报告应明确说明测试环境、样本范围、版本信息和局限性。

十、选型与使用建议

• 先在目标场景的真实数据上做小规模验证，再决定是否扩大投入；
• 建立可复现的评测基线，作为后续版本迭代的对照；
• 对精度、时延、安全等关键指标设定业务阈值，而不是追求单项极致；
• 对VLA模型重点验证指令泛化、失败恢复和动作安全性；
• 对深度感知模型重点验证尺度对齐、多帧一致性和复杂光照鲁棒性；
• 对视觉-动作模型重点验证局部控制稳定性、动作平滑性和异常恢复能力；
• 关注长期可维护性，包括版本升级路径、故障排查能力和灰度发布能力。

十一、总结

本文围绕具身智能与空间智能相关模型，包括深度感知、视觉-语言-动作、视觉-动作和空间智能相关模型，构建了通用评测框架。文章补充了深度感知模型的关键指标口径、VLA与VA模型的任务评测方法、可复用记录模板、错误分类处理、安全检查项和场景权重示例，帮助读者从“看演示”转向“做验证”。

需要强调的是，本文提供的是通用评测框架，不替代针对具体模型、具体数据和具体硬件的实测报告。评测的目的不是给出绝对排名，而是结合业务目标判断某类模型是否够用、是否值得投入，并据此规划后续优化方向。