1. 视频异常行为检测算法流程图

基于视频的异常行为检测算法通过学习正常行为的模式，构建出正常行为的模型，将那些偏离正常模型的测试样本被判定为异常。在训练阶段，首先要对视频提取出具有一定描述性和区分度的特征，以实现对视频中目标的运动行为或场景的特性进行建模，然后通过机器学习算法或深度学习算法学习从视频的特征中训练出正常行为的模式。在测试阶段，利用已训练好的模型获得测试视频的特征表示并对其分类，从而判断出视频中是否由异常行为。可以看出，影响监控视频中异常行为检测算法精度的两个关键性步骤是视频行为特征的描述方法与视频行为模型的构建。视频异常行为检测算法的流程框图如下图所示。

2. 视频行为的特征描述方法概述

在机器学习中，特征学习是将原始数据转换成能够被机器学习进行有效开发的形式的操作。根据描述视频行为的特征的语义信息等级，可以将描述视频行为特征的方法分为目标级特征描述方法和像素级特征描述方法。

目标级的视频行为特征描述方法，需要利用目标检测技术和目标跟踪技术来获取关于目标的信息，其中包括目标的尺寸、轮廓、形状、纹理、运动轨迹、运动速度等。

虽然目标级的视频行为特征描述方法具有一定程度的语义信息，并在视频异常行为检测中有较好的表现，但是运动目标的检测和追踪算法的时间复杂度非常高，而且多个目标的复杂场景或拥挤场景中存在遮挡的情况，大多数跟踪算法都会失效，导致很难提供精确的目标轨迹。在这些情况下，目标级的视频特征描述方法将不再可靠。

为此，像素级的视频行为特征描述方法被提出，用以解决目标级的视频行为描述方法的上述缺陷。像素级的视频特征主要包括底层的视觉信息以及对应的统计信息，如像素点的梯度、光流、时空信息等。像素级的特征不需要进行目标检测和目标跟踪算法，且无论复杂的拥挤场景还是非拥挤的场景均能适用。

根据视频异常行为发生的方式，视频异常行为大致可以分为两种类型：视频画面中有异常目标侵入和正常运动目标发生异常行为。实际上，这两种异常行为类型对应两种不同的底层视觉特征，根据所采用的底层视觉特征的类别，可以将像素级的视频行为特征描述分为外观特征描述和运动特征描述。外观特征又被称为表观特征，通常使用一些统计工具来描述，如梯度直方图（HOG），边缘方向直方图（EOH），运动边界直方图（MBH）。运动特征描述最主要的方法就是使用光流，它用于描述空间运动物体在连续视频帧中的像素级瞬时运动速度。除了直接用计算的光流作为运动特征描述，光流的统计特征如光流直方图（HOF）也被广泛使用。随着研究的发展，出现了同时考虑了视频事件运动和外观特征的描述，比如空时梯度和视频时空块。

最近几年，基于深度学习的出色表现，研究者们开始广泛利用深度学习方法来实现特征提取。基于深度学习的方法，首先利用无监督学习自下向上地对每一层进行训练去学习特征，其中低层的训练结果成为高层的输入，训练至最高一层后改用监督学习自上而下地对学习模型进行微调。这类方法不再使用人工设计的特征，而是利用深度学习算法从视频图像来自动完成提取原始像素值中的特征。

3. 视频异常行为检测模型概述

在异常行为检测任务上，根据模型是否使用了深度神经网络，目前的研究方法可以分为两大类：（1）基于传统机器学习算法的检测模型；（2）基于深度神经网络的检测模型。其中，基于传统机器学习算法的异常检测模型又分为：基于概率的异常事件检测模型、基于距离的异常事件检测模型、基于重构的异常事件检测模型、基于域的异常行为检测模型。

转自：https://zhuanlan.zhihu.com/p/382386123