TubeR：视频动作检测的Tubelet Transformer深度解析

TubeR: Tubelet Transformer for Video Action Detection 论文+代码分析

引言

视频动作检测是计算机视觉领域的重要任务之一，旨在从视频序列中识别和定位动作发生的时空范围。然而，由于视频数据的复杂性和多样性，这一任务极具挑战性。近年来，随着Transformer模型的兴起，其在视频处理中的应用也逐渐受到关注。TubeR（Tubelet Transformer for Video Action Detection）就是这一背景下的一个杰出代表。

TubeR模型概述

TubeR模型在目标检测中的DETR（Detection Transformer）基础上进行了创新，将2D的检测方法扩展到3D时空视频中。其核心思想是利用Tubelet Transformer直接检测视频中的动作Tubelet，同时进行动作定位和识别。

TubeR Encoder

TubeR的编码器部分采用了Tubelet Query和Tubelet Attention机制。Tubelet Query通过学习一组Tubelet查询来代替传统的手动设计的3D Anchors，以更好地表示Tubelet的动态特性。每个Tubelet Query包含了多个Box Query Embeddings，用于预测Tubelet在每个时间帧上的位置。

Tubelet Attention模块包含两个自注意力层：Self-Attention Layer和Temporal Self-Attention Layer。Self-Attention Layer用于建模同一帧内参与者或参与者与对象之间的交互；Temporal Self-Attention Layer则用于跟踪演员并生成聚焦于单个演员的动作Tubelet。

TubeR Decoder

解码器部分同样包含了Tubelet Attention模块和一个Cross-Attention层。这些组件共同工作，从编码器的特征中解码出Tubelet特定特征，并用于后续的任务特定头（Task-Specific Heads）处理。

任务特定头（Task-Specific Heads）

TubeR模型包含了两个重要的任务特定头：Context-Aware Classification Head和Action Switch Regression Head。

• Context-Aware Classification Head：该头利用短期和长期的上下文信息来增强动作分类。对于包含过渡状态或场景变化的视频，这一机制尤为重要。
• Action Switch Regression Head：用于检测精确的时间动作范围，确保Tubelet的生成既准确又灵活。

实验与结果

TubeR在多个常用动作检测数据集（如AVA, UCF101-24, JHMDB51-21）上取得了优异的表现，显著优于之前的先进方法。这一结果验证了Tubelet Transformer在视频动作检测中的有效性。

代码分析

TubeR的代码实现主要基于PyTorch框架。输入模型的数据格式为[b_s, tb, c, h, w]，其中b_s表示批次大小，tb表示时间维度（如连续帧的数量），c表示通道数（如RGB三通道），h和w分别表示图像的高度和宽度。

模型预测的输出包括bbox坐标信息、分类分数以及误差修正信息。bbox坐标信息包含了每一帧预测的bbox位置，分类分数则对应了不同动作类别的置信度。

生成Tubelet

Tubelet的生成是TubeR模型的关键步骤之一。在预测得到每一帧的bbox后，通过非极大值抑制（NMS）滤除部分重叠的bbox，然后利用首帧的bbox在后续帧中寻找IOU最大的bbox作为Tubelet的下一帧，以此类推，直至生成完整的Tubelet。

实际应用与前景

TubeR模型在视频动作检测中的成功应用，为智能监控、视频分析等领域提供了强有力的技术支持。未来，随着Transformer模型的进一步发展，TubeR及其类似方法有望在更多复杂的视频处理任务中展现出更大的潜力。

结论

TubeR通过创新的Tubelet Transformer架构，有效解决了视频动作检测中的时空定位难题。其优秀的性能和灵活的Tubelet生成机制，为相关领域的研究和应用提供了新的思路和方法。我们期待TubeR及其相关技术在未来的发展中能够取得更加辉煌的成就。