时隔两年，Facebook又出视频理解利器

作者：福怼怼2021.07.12 08:20浏览量：184

简介：深扒一下PyTorchVideo 究竟是怎样的一个代码库

视频作为当今最被广为使用的媒体形式，已逐渐占超过文字和图片，据了人们更多的浏览时间。这使得视频理解变得尤为重要。各大互联网公司与顶尖高校纷纷绞尽脑汁，竞相研究前沿视频理解模型与算法。在谷歌，脸书，亚麻，Open-MM Lab等分别祭出各家杀器之后，脸书人工智能实验室在PySlowFast之后时隔两年，携PyTorchVideo 重入战场。

作为资深的从业者，小编今天就深扒一下，PyTorchVideo 究竟是怎样的一个代码库，又如何能在开源当天就跻身于GitHub Trending 的榜首。

PyTorchVideo好像哪儿都能用

不同于在座的各位视频代码理解框架只醉心于自家框架，无法移步与其他代码库。PyTorchVideo 似乎如同 torchvision 等基础代码库一般，“哪儿都能用”！PyTorchVideo 不但可以用在视频理解任务中，甚至可以用在其他任务的代码库。脸书人工实验室的大佬们不但在“自家人”的 PySlowFast 代码库上无缝使用上了PyTorchVideo，并且还在 Classy Vision，PyTorch Lightening等等框架上无缝插入。作为含着金钥匙出生的 PyTorchVideo，其直接成为了 PyTorch Lightning-Flash的视频理解担当，作为基础库被默认使用。这不，在 FiftyOne项目中，开源社区的吃瓜群众就利 Lightning-Flash 鬼畜出了一个浏览视频的工具箱，可以直接查看视频的动作类别。

PyTorchVideo好像啥都管

更厉害的是，PyTorchVideo似乎“啥都管”！不但在视频分类，动作检测等任务中深耕前沿，还“略懂”Lecun最爱的自监督学习，甚至音频事件检测等等千奇百怪的任务也不在话下。

PyTorchVideo好像手机也能玩

更丧心病狂的是，PyTorchVideo一并开源了移动端的加速优化。不但提供了手把手的教程，将视频模型一步步优化核心Kernel，量化（Quantilize）加速，数倍加速后在移动端实时运行，甚至官方直接暴力放出 Android 和 iOS 移动端开源代码，将前沿的视频模型直接塞到手机里跑着玩玩。

PyTorchVideo到底是个啥

PyTorchVideo 的真身是一个基础视频库，可以服务于各种代码库。除了全方位的前沿视频模型模型，开源视频模型，其中还含有各类视频基础算法，视频数据操作，各类流行视频数据集，视频增广，视频模型加速量化，等等一些列的全栈视频相关内容。据官方博客透露，PyTorchVideo开源了一大票视频模型，包括脸书人工智能实验室近期出现在ICCV，ICML等回忆中的工作：

· Multiscale Vision Transformers

· A large-scale study on unsupervisedspatiotemporal representation learning

· Multiview pseudo-labeling for semi-supervisedlearning from video

· Is space-time attention all you need for videounderstanding?

· Keeping Your Eye on the Ball: TrajectoryAttention in Video Transformers

· SlowFast networks forvideo recognition

· X3D: Expandingarchitectures for efficient video recognition

· Audiovisual SlowFast networks for videorecognition

· Non-local neural networks

· A closer look at spatiotemporal

· convolutions for action recognition

· Video classification with channel-separatedconvolutional networks