1基于深度学习的视频异常检测方法综述

1.1异常类型：外观异常=像素异常+帧异常=空间异常、运动异常=时间异常。

基于监控一般是单场景的异常检测

1.2流程：提取特征、建立模型、测试：测试样本输入模型（重构误差、预测误差、异常分数和峰值信噪比）

1.3.1异常的基本类型：

①局部异常和全局异常②时间异常和空间异常

1.3.2４种学习范式:

有监督、无监督、弱监督和自监督

①样本（正常+异常）+标签，一一对应（二分类器）

缺：异常视频的稀缺性。

②样本（正常）（无标签），（远离正常样本的视频看作异常）

缺：要提供充足的正常视频数据。

③仅依赖视频级标注信息进行建模

不依赖逐帧标签，降低工作量，方便大数据集，可增强对不同场景的适应能力，以及对不同异常类型的检测性能

④无标注（学习数据各部分之间的联系）

1.4评价方式：①精度优先②效率优先。

①检测和定位②更适合实际应用。

1.5异常检测方法

①基于重构的方法②基于预测的方法③基于分类的方法④基于回归的方法。（12是主流）

①自编码器②稀疏编码（正常视频可通过一组字典重构）

②一正常视频存在某种有规律的上下文联系

③根据视频和映射函数判断属于哪种类型

分类：单分类（单分类器）、多分类（自编码器的特征向量来表示全局特征，再将特征送入高斯 分类器进行二分类异常检测）

缺：不涉及定位

④将异常得分作为评估指标

①②依赖特征、适合异常少的视频、使用于视频少的数据集，检测+定位，无监督

③适应于有充足正常视频的数据集，训练时间长，检测+定位，无监督

 ④适用于大型数据集，需要视频数量多，弱监督，检测

1.6数据集

①ＵＭＮ 数据集：全局异常行为，视频数量少，重构

②subway：重构，视频数量少，异常视频少，异常种类单一。

③UCSD Pedestrain：局部异常行为，数量充足，重构+预测+分类。异常数量、种类多。

④CUHK Avenue：数量适中，重构、预测、分类，90.4%

⑤Street Scene：相对充足，重构、预测、分类，使用论文少。

⑥IITB-Corridor：数据多，回归+弱监督（视频级别、视频片段级别），目前使用少，异常数量、种类多。

1.7性能评估

①混淆矩阵②ROC曲线③等错误率

1.8缺点：深度学习的实时性差（预处理和特征提取时间成本高），精度高

2.监控视频异常检测：综述

2.1挑战:异常事件定义的场景依赖性,训练样本中包含噪声

学习范式：半监督、无监督。

2.2算法分类

①按算法发展阶段

传统机器学习：手工特征，传统机器学习方法，方 向 梯 度 直 方 图 、光 流 直 方 图 、３Ｄ 梯度、局部二值模式、轨迹

混合方法阶段：深度特征，传统机器学习方法

深度学习：端到端的神经网络模型检测异常

②按算法模型输入

点模型：单个时空块

序列模型：连续的时空块序列

图模型：一组相互关联的时空块

复合模型

3.智能视频异常事件检测方法综述

3.1异常事件检测技术

①半监督②无监督③弱监督

①训练：正常视频

②训练：正常异常视频均无标注（新兴）

③少量或者具有弱标注的包含异常 事件的视频（此类型的方法较少）

3.2关键步骤

3.2.1视频事件提取

前景区分：①梯度法②背景减除法③基于深度神经网络的方法

①最简单（相邻两帧之间相同像素位置上的灰度值是否发生剧烈变化）

②对背景进行建模，再将图像和背景模型相减

③只能够检测出在训练 时学习过的类别的物体；

前景提取：①滑动窗口法②目标检测法

①粗略，将独立完整的前景划分在几个不同的前景块里，开销大

②深度学习，识别种类+定位，无法检测训练集中没有的目标

深度神经网络出现，省略了视频时间提取的步骤，直接对原始帧进行处理。U-net

3.2.视频事件表示（找特征）

①基于特征工程的视频事件表示②基于深度表示学习的视频事件表示

①特征算子

②卷积神经网络（CNN）或循环神经网络（RNN）来学习视频的时空特征，并进行视频事件的表示和分类,基于重构，基于预测。基于预测：自编码器、U-Net、对抗生成网络