手术视频基础模型评测：十亿参数级模型如何评估

一、评测概述

手术视频AI正在从“看单帧图像”走向“理解整段手术过程”。行业中出现了一个值得关注的方向：由国内科研院所联合多国高校与临床机构发布的首个十亿参数级、基于大规模数据集训练的手术视频原生基础模型。据公开介绍，其预训练数据规模达到数千小时、千万帧级别，覆盖多个解剖区域和腹腔镜、胸腔镜、神经外科、眼科、耳鼻喉科等多类术式。发布三个月后，它成为某主流模型托管平台上下载量最高的手术视频基础模型，并收到全球多个国家和地区的产业、科研与临床机构的试用申请。

这类模型的基本思路并不复杂。传统视觉模型大多是“看一帧、猜一类”：输入一张图，输出类别、掩膜或深度。而手术视频的信息量主要藏在时间维度里，例如器械怎么移动、组织如何被牵拉、当前处于操作的哪一步。同时，烟雾、镜面反光、血液等画面本身就带有大量与语义无关的视觉变化。

于是，“像素级重建”式的预训练被迫把算力花在还原这些无意义细节上。十亿参数级模型采用的“联合嵌入预测”类架构换了一条路：不对像素本身建模，而是在潜空间（由编码器提取的高层特征空间）中预测被遮蔽片段的特征。潜空间中的运动语义更集中，模型也更有机会学到“动作”和“操作意图”。

不过，“参数更多、数据更大、平台下载量更高”并不等于“在你的业务里更好用”。这类模型的特点、盲区和成本边界，都需要通过一套可复现的评测来确认。

本文要回答的问题是：

• 如何判断这类模型对目标任务的表征质量是否真的更好；
• 它是否适合进入具体业务系统，而不是只停留在论文层面；
• 资源投入应集中在推理优化、微调适配还是数据治理。

本文面向以下读者：

• 开发手术AI应用的算法工程师；
• 负责算力和系统集成的架构师；
• 需要评估采购或自研的技术负责人；
• 参与数据治理的临床与科研合作者。

二、评测目标：这次要回答哪六个问题

评测的第一步是把模糊的“效果怎么样”，拆成可以回答的具体问题。针对手术视频基础模型，本文设定以下六个评测目标：

1. 能不能用：核心接口与能力是否覆盖“视频编码、时序理解、下游微调”的典型流程。
2. 准不准：在术式识别、关键步骤识别、动作三元组识别等任务上，相对合理基线是否稳定有效。
3. 稳不稳：遇到图像噪声、参数变化、跨机构数据和异常输入时，性能衰减是否可控。
4. 快不快、省不省：单段手术的编码与推理耗时、显存占用、批量吞吐是否满足业务节奏。
5. 好不好改：接入、微调、部署、升级的工程量，以及文档与社区的支持程度。
6. 能不能上线：数据合规、隐私保护、版本可追溯、可解释性等要求能否满足。

需要强调，这类评测的目的不是给模型打一个“好”或“不好”的总分，而是确定它在哪些术式、哪些质量等级的录像、哪些部署条件下可用。判断结果必须结合业务目标、手术视频的数据规模、预算和长期维护能力综合得出。

三、评测对象说明：手术视频基础模型“基础”在哪里

1. 核心定位

基础模型先用海量、无需人工标注的手术视频进行自监督预训练，再把学到的通用表征迁移到具体下游任务。开发者通常只需在少量标注数据上做微调或训练轻量分类头，就能获得特定能力。它的价值体现在两点：

• 降低标注成本：手术视频的人工标注需要专业医师参与，成本远高于自然图像；
• 提高小样本效果：下游标注数据有限时，预训练表征质量对最终效果的影响更明显。

2. 技术路径：从像素重建到潜空间预测

该模型的公开资料显示，它基于视频联合嵌入预测架构，放弃了传统的像素级解码。针对手术场景，它主要做了三方面调整：

• 运动引导的潜空间遮蔽预测：不再随机遮蔽画面，而是引导模型自动过滤无用噪声，更关注器械运动、组织形变等具有关键语义的区域；
• 时空亲和力自蒸馏：让模型学习手术视频在时间和空间上的强关联性；
• 时空特征多样性正则化：缓解手术画面纹理相对单一导致的表征崩溃（不同输入被编码成高度相似的特征）问题。

3. 评测难点

评测对象“新、大、跨任务”，本身就带来五个难点：

• 任务跨度大：从动态理解到深度估计、病灶分割，单靠几个指标无法覆盖；
• 标注昂贵：精细标注依赖临床专家，评测集规模往往有限；
• 场景噪声多：烟雾、反光、出血等会放大评估中的随机波动；
• 事件稀疏：关键操作只占总时长的一小部分，容易被平均指标稀释；
• 评审基准是动态的：公开下载量、使用机构数量等指标会随时间变化。

四、评测维度设计：十二个维度拆解

评测框架需要覆盖“效果、效率、稳定、安全、维护”五条主线。下表将各类模型通用的评测维度落到手术视频场景，每个维度都给出观察问题和建议的验证方式：

维度	核心观察问题	建议指标/观测点	主要验证方式
功能完整性	是否覆盖“编码—时序理解—微调”的完整链路	接口能力、输入规格、输出形态	功能核对清单
表征质量	冻结权重后，特征是否已具备通用判别力	线性探测、最近邻分类指标	冻结编码器＋轻量分类头
下游任务有效性	微调后是否优于同条件基线	与任务匹配的指标及相对提升	控制变量的基线对照
静态感知迁移	从视频预训练迁移到单帧任务是否有效	分割重叠度、深度误差	跨模态迁移测试
时序与长程推理	能否区分前后步骤及顺序错误	步骤识别、顺序判别指标	时序打乱、时间窗长度测试
鲁棒性	图像质量或设备变化时性能衰减多少	各扰动下的指标变化	扰动测试、跨机构留出
公平性与泛化	不同术式、患者群体、机构间是否存在差距	分组指标与差异	分层评估
效率与资源	推理延迟、吞吐、显存和能耗是否满足业务	单段耗时、峰值显存、批量吞吐	分阶段计时与资源采样
稳定性	长时间、高并发、异常输入下能否持续可用	错误率、超时率、崩溃与内存泄漏	长稳测试、故障注入
安全性与隐私合规	身份、数据、传输和审计是否可控	鉴权、脱敏、加密、日志完整率	安全检查清单
可维护性	版本升级、问题定位与回滚是否方便	版本可追溯性、日志完备度、回滚耗时	灰度升级演练
生态与成本	许可、适配、算力与维护是否可长期承担	许可范围、适配量、总体拥有成本	许可核对与成本测算

以下五项需要重点说明：

1. 表征质量：模型的主要产物是一段段手术视频的特征向量，而不是最终预测结果。评估时用“冻结编码器＋轻量分类头”的线性探测方法，可以看出模型“自带”多少判别力，又有多大提升空间留给下游微调。对只提供推理接口、不开放内部特征的模型，可用少样本微调后的效果间接反映这一能力。
2. 时序与长程推理：这是手术视频模型区别于图像模型的关键。应单独检查模型能否区分步骤的前后顺序，例如先分离胆囊三角、再离断胆囊动脉，而不是只判断“画面里出现了什么器械”。
3. 鲁棒性与公平泛化：手术录像质量参差不齐，不同机构、设备和术者的习惯差异很大。某个数据集上 1 到 2 个百分点的提升，很可能被跨机构差异覆盖，因此需要分层评估。
4. 效率与资源：基础模型通常较大，术中辅助对延迟敏感，离线复盘则更看重吞吐。二者应分别测试，不能相互替代。
5. 生态与成本：许可条款是否允许商用、是否支持任务所需的输入长度和分辨率、算力能否长期承担，往往比榜单排名更直接地影响落地。

五、评测环境与前提：先把“可比性”固定下来

评测结论只有在条件明确时才有意义。开始测试前应确认以下条件：

• 数据划分：按手术病例（甚至按患者、按机构）划分训练集、验证集和测试集，避免同一场手术的不同片段同时出现在两侧造成信息泄漏；
• 数据许可与隐私：预训练权重和数据的许可条款允许目标任务使用，视频数据经过去标识化并满足伦理审查要求；
• 运行环境：GPU 型号、驱动与框架版本、推理精度、分辨率、抽帧率和时间窗长度统一记录；
• 基线集合：至少包括通用视觉预训练模型、从零训练的专用模型和“无预训练”对照组；
• 指标口径：指标定义、评测脚本和评价集合版本事先固定，评测期间不随意调整；
• 算力部署方式：自建集群、公有云GPU实例、托管平台上的模型服务，或百度智能云提供的云服务器、容器平台、对象存储、负载均衡、日志服务、监控告警、身份认证与安全防护等通用产品能力的组合。不同方式下测得的延迟和成本不可直接比较。

六、评测方法：从目标到结论的七步流程

第一步：明确问题并控制指标数量

一次评测最好只回答 3 到 5 个核心问题。例如：

• 冻结特征在术式识别上是否优于通用视觉预训练；
• 在手术步骤识别上能否准确区分前后顺序；
• 跨机构迁移时性能衰减是否可接受；
• 单段手术的离线编码和术中实时推理能否满足时延要求。

第二步：设计有代表性的测试样本

• 覆盖主要术式和主要机构；
• 兼顾高清与标清录像、完整手术与片段；
• 按烟雾、出血、反光等图像质量分层；
• 关键事件按时间分层抽样，避免被大量平静画面淹没。

第三步：建立同条件基线

推荐三条基线：

• 通用视觉预训练模型：说明“视频原生”预训练带来了多少增益；
• 同参数规模但从零训练的模型：区分“参数规模”和“手术数据预训练”各自的贡献；
• 传统专用模型：贴近业务当前实际使用的方案。

第四步：分维度验证

• 线性探测：冻结编码器，只训练线性分类头；
• 少样本微调：每类仅用少量标注样本，观察样本效率；
• 全量微调：在完整标注数据上比较最终上限；
• 时序测试：打乱片段顺序，观察模型能否识别；
• 扰动测试：注入噪声、降低分辨率、改变压缩参数，观察性能衰减曲线；
• 长稳测试：连续运行并记录错误与资源占用。

示意性评测流程代码如下：

# 通用评测流程示意：控制变量、记录过程、可复现
CONFIG = {
    "resolution": 224,          # 输入分辨率
    "clip_seconds": 16,         # 单个输入片段时长
    "stride_seconds": 4,        # 片段滑动步长
    "precision": "fp16",        # 推理精度
    "seed": 42,
}
# 按手术病例划分，避免同一场手术跨集合泄漏
splits = split_by_case(all_cases, ratio=(0.7, 0.1, 0.2))
backbones = {
    "surgical_video_fm": load_model("surgical_video_foundation_model"),
    "generic_visual": load_model("generic_visual_pretrained_model"),
    "scratch": None,            # 从零训练的对照
}
def extract_features(model, clips):
    # 冻结编码器，逐批推理；记录耗时与显存
    return inference_in_batches(model, clips, **CONFIG)
for task in ["phase_recognition", "triplet_recognition", "lesion_segmentation"]:
    data = prepare_dataset(task, splits)
    rows = []
    for name, model in backbones.items():
        with resource_monitor(sample_interval_ms=200) as usage:
            feats = extract_features(model, data["train"] + data["test"])
        head = train_linear_probe(feats["train"], data.labels["train"])
        pred = head.predict(feats["test"])
        rows.append({
            "model": name,
            "metric": task.metric(pred, data.labels["test"]),
            "avg_latency_ms": usage.avg_latency_ms,   # 单批平均推理耗时
            "peak_mem_mb": usage.peak_memory_mb,
            "trainable_params": head.trainable_params,  # 可训练参数越少，样本效率越高
        })
    compare_with_confidence_interval(rows)   # 多重交叉验证，给出置信区间

第五步：完整记录过程数据

记录内容包括：每次运行的输入、模型版本、参数配置、指标、耗时、显存、错误日志，以及人工标注与复核耗时。这些记录是结论可追溯、可复现的基础。

第六步：控制变量并分析边界

同一任务中，各模型的输入分辨率、时间窗、抽帧策略、训练轮数和评估脚本必须一致。若上游预处理差异明显，应做消融实验，区分“预处理差异”和“预训练权重差异”各自的贡献。

第七步：形成有条件的结论

结论应写成“在什么条件下，对哪类任务，表现如何”，而不是简单排名。

七、结果解读：数字背后应该看什么

对于该类模型公开报告的结果（表内数据均为该方向公开的披露口径，未经第三方独立复现），评测者应关注“怎么读”，而不是“数值是多少”：

报告结果	能力指向	解读要点
覆盖十余类手术任务、数十种评价指标的系统评测	通用性	看覆盖广度，更要看每项任务的测试集规模、划分方式和置信区间
动态理解类任务平均提升约一成以上；工作流识别在两个公开数据集上的F1分别提升约一成五和一成	时序与步骤级语义	两个数据集的提升幅度不同，说明结果受数据分布影响；需确认提升是否来自“视频原生”预训练本身
动作三元组识别达到约四成的mAP-IVT	细粒度动作理解	绝对水平仍有提升空间，适合作为辅助分析而非高精度判定
深度估计误差平均降低约百分之三，病灶/息肉分割精度较此前最强模型提升约一个百分点	静态感知迁移	静态任务提升有限是符合预期的，说明该架构的收益主要不在单帧
数月内成为平台下载量最高的手术视频基础模型，多个机构申请使用	生态采用度	反映关注度，不能替代效果、安全和合规评估

解读时有六条原则：

1. 看分布而非均值：平均值可能掩盖某些术式上的明显退化，应观察各术式、各机构、各图像质量分层的指标分布。
2. 看置信区间：标注样本有限时，1 到 2 个百分点的差异未必稳定，需要通过交叉验证、多次随机种子或显著性检验确认。
3. 看基线强度：提升幅度只有在基线设置合理、训练充分的条件下才有意义。
4. 看绝对水平：增量提升不等于可用。四成左右的细粒度动作识别准确率，更适合辅助分析和质量复盘，不适合作为高精度自动判定依据。
5. 看训练与推理成本的平衡：参数规模更大意味着推理算力和延迟压力更大，增量收益是否值得要放到业务场景中衡量。
6. 看指标与任务的对应关系：分割重叠度、深度误差等指标的提升，不自动等同于“手术质量评估更准确”或“教学效果更好”。

八、适用场景分析：不同场景，评测重点不同

应用场景	主要需求	评测重点	建议指标
手术教学与培训	步骤拆解、要点定位	步骤边界准确率、长视频处理能力	步骤识别F1、边界时间误差
手术质量复盘与质控	稳定识别关键环节	跨机构泛化、异常场景鲁棒性	分组指标、扰动下的衰减幅度
术中实时辅助	低时延、高稳定	推理延迟、长稳运行、失效安全	P95/P99时延、连续运行错误率
影像与内镜图像分析	像素级定位精度	分割细节、小目标识别	重叠度、边界距离、小病灶召回
科研与模型复用	可复现、可扩展	接口完备度、许可条款、适配工具	微调周期、迁移所需样本量
大规模离线分析	吞吐与成本	单位视频处理成本、批处理效率	吞吐、单位时长成本

就本文评测的对象而言，它在手术步骤识别、流程理解和教学辅助分析类场景中值得优先验证；在术中实时辅助和高精度分割类场景中，则需要重点验证延迟、稳定性和像素级精度。

九、风险与限制：评测结论的边界

1. 样本偏差：公开基准以特定地区和术式为主，未覆盖的术式、设备和患者群体无法据此推断。
2. 环境与工具差异：框架版本、推理精度、驱动和硬件型号都会影响实测结果，跨环境数据不可直接横比。
3. 标注质量：手术视频标注依赖临床专家，不同标注者的标准差异会直接影响指标。
4. 数据合规与隐私：手术视频包含大量患者信息，必须完成去标识化、脱敏、访问控制和加密传输，满足相关法规和伦理要求后才能用于评测。
5. 分布漂移：术式流程、器械设备和录制规范会随时间变化，模型可能性能衰减，需要定期复评。
6. 资源约束：十亿参数级模型的显存和算力门槛较高，测试条件可能与实际生产环境不一致。
7. 结论时效：下载量、使用机构数量等动态指标随时间变化，不宜作为选型的主要依据。

十、选型与使用建议：一份落地验证清单

1. 先定问题再选模型：明确业务要解决的“问题类型”（步骤识别、质控复盘、分割定位等），再决定是否需要视频原生基础模型。
2. 自建内部评测集：用自有手术视频构建小规模、高质量的内部评测集，验证公开指标是否与自身数据一致。
3. 小样本先行：在百例量级数据上完成线性探测和少样本微调，确认是否有明显增益，再决定是否投入大规模标注。
4. 核算总体拥有成本：综合算力、标注、工程改造和运维成本，评估长期投入。
5. 建立版本与灰度机制：记录模型版本、数据和配置，先灰度后全量，保留回滚路径。
6. 明确人工复核边界：关键环节保留医师复核流程，不把模型输出直接作为决策依据。
7. 核对许可条款：确认预训练权重、数据和工具的许可范围与预期用途一致。
8. 建立长期监测机制：跟踪跨机构、跨术式和不同图像质量下的指标变化，发现漂移及时复评。

十一、总结

手术视频基础模型把视觉AI的重心从“单帧感知”推向“潜空间中的时序理解”。本次评测围绕十二个维度展开：

• 功能与表征；
• 下游有效性与静态迁移；
• 时序推理；
• 鲁棒性与公平泛化；
• 效率、稳定、安全与维护；
• 生态与成本。

评测方法上，本文强调按病例划分数据、建立同条件基线、分维度验证、控制变量和完整记录。结果解读上，应关注指标分布、置信区间、基线强度和绝对水平，而不是被单一均值或平台排名左右。从公开的披露结果看，这类模型在动态理解类任务上显示出明显增益，但细粒度动作识别的绝对水平仍有提升空间，静态感知任务的收益相对有限。

最终的选型结论应当是条件化的：在步骤识别、教学辅助和流程分析等场景中值得优先验证；在术中实时辅助和高精度分割场景中，需要在真实业务数据、真实部署环境和合规约束下完成充分测试，才能判断是否投入使用。