WACV 2021人体动作检测与识别技术新进展

WACV 2021人体动作检测与识别技术新进展

随着计算机视觉技术的不断发展，人体动作检测与识别作为其中的一个重要分支，在视频监控、人机交互、运动分析等领域展现出了广泛的应用前景。在2021年的WACV（Winter Conference on Applications of Computer Vision）会议上，众多研究者提交了关于人体动作检测与识别的优秀论文，展示了该领域的最新研究成果。本文将对其中一些亮点进行简明扼要的总结，帮助读者快速了解该领域的技术新进展。

一、高效的人体动作检测方法

SSA2D：单样本Actor-Action检测方法

SSA2D（Single Shot Actor-Action Detection in Videos）是一种简单且有效的视频单样本Actor-Action检测方法，由中佛罗里达大学的Aayush J Rana和Yogesh S Rawat提出。该方法不依赖于传统的region proposal network（RPN），避免了RPN需要生成大量提案的缺点，从而提高了检测效率。实验结果表明，SSA2D在A2D和VidOR数据集上取得了与现有方法相当甚至更好的性能，同时在训练速度和推理速度上均有显著提升。

SALAD：自我评估学习动作检测方法

来自ONERA、巴黎萨克雷大学和索邦大学的Guillaume Vaudaux-Ruth等人提出了SALAD（Self-Assessment Learning for Action Detection）方法。该方法通过自我评估学习机制，能够在两个动作检测基准数据集（THUMOS14和ActivityNet1.3）上取得优于最先进方法的性能。特别是在较低的tIoU值下，SALAD实现了更显著的改进。

二、行为识别技术的创新

VIB框架压缩循环神经网络

印度理工学院和Samsung R&D Institute India的研究团队提出了一种基于VIB（Variational Information Bottleneck）框架的方法来压缩用于人类动作识别（HAR）的循环神经网络（RNNs）。该方法通过减少隐藏表征中的模型参数和内存占用，实现了在保持识别精度的同时显著提高推理速度。在UCF11、HMDB51和UCF101三个行为识别数据集上的评估结果表明，该方法在精度相当的情况下，实现了高达70多倍的压缩。

JOLO-GCN：基于骨架和关节信息的行为识别

思谋科技、华南理工大学和香港中文大学（深圳）的研究者提出了JOLO-GCN（Joint-Centered Light-Weight Graph Convolutional Network）框架，用于基于骨架的人体动作识别。该框架通过联合采用human pose skeleton和joint-centered light-weight information（如关节周围的光流贴片），有效提升了动作识别的性能。在NTU RGB+D、NTU RGB+D 120和Kinetics-Skeleton数据集上的实验结果表明，JOLO-GCN比最先进的基于骨架的方法获得了明显的精度改进。

三、多模态学习在动作识别中的应用

Distillation Multiple Choice Learning

针对多模态数据学习的问题，研究者提出了一种新型的蒸馏多选择学习框架。该框架通过不同模态网络之间的合作与相互加强，实现了在多模态数据下的高精度动作识别。在三个视频动作识别基准数据集上的评估结果表明，该方法在测试时可能缺少模态的现实和挑战性场景下，仍然能够获得最先进的结果。

结论

WACV 2021在人体动作检测与识别领域展示了丰富的创新成果，从高效检测方法、行为识别技术创新到多模态学习应用，都为该领域的发展注入了新的活力。这些研究成果不仅推动了技术的进步，也为实际应用提供了有力的支持。未来，随着技术的不断发展和完善，人体动作检测与识别将在更多领域发挥重要作用。