头七真实监控（丧事简办什么意思）

原副标题：[CVPR 2018学术论文讲义] 真实世界监视情景中的极度该事件检验

学雷锋网 AI 信息技术文章按：责任编辑为上海交通大学林天威为 AI 信息技术文章撰写的独家稿件，未经学雷锋网许可不得转载。

智能家居作为近年最热门的计算机视觉科学研究落地方向，与音频分析科学研究有着很紧密的关系。在真实世界的监视音频中，两个常见的需求是要自动检测音频流中的极度该事件，也是极度该事件检验各项任务（Anomaly detection)。

这个各项任务有许多的难点，比如：

1.极度该事件发生的频率较低，导致数据的收集和标注比较困难；

2.极度该事件的稀少导致体能训练中的正样品远少于负样品；

在监视情景中，无论是一般来说（normaly）还是极度（anomaly）该事件都是很多样且复杂的，即类型内的多样性很高，variance很严重。

最近UCF的CV科学研究中心就在CVPR18上发表了一篇关于监视音频极度该事件检验的学术论文(Real-world Anomaly Detection in Surveillance Videos, arxiv 1801.04264)，明确提出了一种如前所述广度多实例次序的弱监督管理演算法架构，同时明确提出了两个捷伊大规模极度该事件检验数据集。这篇讲义主要就对这首诗展开如是说，也算是帮助自己理解，若有错误Professionel尖萼。

责任编辑明确提出的极度检验演算法

很多先前的方式都先自学两个一般来说的商业模式，并假定任何违背这个一般来说商业模式的 商业模式如果是极度的。但事实上，两个方式极难也几乎不可能将去表述两个所谓的一般来说商业模式，因为一般来说商业模式里头可能将包涵太多不同的该事件和行为了。反之亦然，也极难去表述极度该事件，因为极度该事件反之亦然也可能将包涵太多类型的情况了。因此，这首诗主要就明确提出了三点motivations。

极度该事件检验各项任务如果要在弱监督管理架构下展开自学。该处弱监督管理指在体能训练时，只知道一段音频中有或没有极度该事件，而极度该事件的类型以及具体内容的发生时间是未知的。

极度该事件检验各项任务如果采取两阶段的架构，即无论极度该事件的类型，生成极度该事件的proposal，之后再对proposal中包涵的极度该事件展开分类。这种有助于提高极度该事件检验的召回率（如果是因为这种能找到一些无此现有类型中的极度）。这种的架构和目标检验中的RCNN类方式十分相似。这首诗则主要就针对极度proposal阶段展开科学研究。

如前所述这种的想法，该书选用了多实例自学（Multiple instance learning, MIL）方式来构筑演算法架构，并明确提出了包涵 浓密和光滑束缚的MIL 次序经济损失来体能训练数学模型。演算法架构如下表所示图右图，主要就采用MIL的思路构筑体能训练子集，采用C3D+FC 的网络来获取极度评分，最终选用明确提出的MIL次序经济损失来体能训练数学模型。

多实例自学(Multiple Instance Learning)

首先简单的如是说一下多实例自学，这是在20世纪90年代在机器自学领域中明确提出的方式。在MIL中，“包”被表述为多个实例的子集，其中”正包“中至少包涵两个正实例，而“负包”克列文只有负实例（该处实例的概念与样品相同，以下不区分）。MIL的目的是获得两个预测器，使得对于待测试的实例，能获得其差值条码。能看出，在极度检验各项任务中，弱监督管理实际上是MIL的另外一种表达方式，因此MIL的求解演算法很适合用于该弱监督管理各项任务中。多实例自学的更多如是说能参考这篇博客 多实例自学（Multiple Instance Learning）。

广度MIL次序数学模型

接下来如是说该书明确提出的演算法。文中将极度检验表述为两个回归各项任务，即极度样品（anormal）的极度状态参数高于一般来说样品（normal）。直观的考虑能将次序经济损失表述为：

该处Va和Vn分别为极度和一般来说样品，f则为数学模型预测表达式。虽然在MIL中，并不知道正包中每个样品的真实世界条码，因此选用以下的形式：

该处即指，在体能训练中对于正包和负包都只采用平均分最小的样品来体能训练。具体内容而言，正包中平均分最小的样品最可能将是正样品，而负包中平均分最小的样品则被认为是hard negative，即难例。如前所述此式，为了让差值样品之间的距离尽可能将远，译者选用了hinge-loss的形式。

但这种的loss并没有考虑音频的排程结构，因此译者明确提出了三点改进的motivation：

1.虽然音频片段是连续的，因此极度的平均分也如果是相对光滑的。

2.虽然正包中的正样品（极度该事件）比例是较低的，因此正包里头的平均分如果是浓密的。

如前所述这三点motivation，译者在loss function中加进了两个束缚项，分别为排程光滑束缚以及浓密束缚。如下表所示右图。

最终，再加进上数学模型参数的l2正则，就获得了最终的经济损失表达式。

实现细节

在具体内容实现中，责任编辑选用了在其他数据集上预体能训练好的C3D数学模型来提取音频片段的特征，该处不对C3D数学模型展开体能训练。对提取好的特征，再采用3层全连接层来获得最终的预测极度值。以上明确提出的MIL次序经济损失也是用来对这几层FC层体能训练的。

在体能训练数据处理方面，该书将每个音频均匀分为32个片段，作为两个包。体能训练时，随机选取30个正包和30个负包作为mini-batch展开体能训练。

责任编辑明确提出的极度检验数据集

责任编辑的另外两个贡献是明确提出了两个捷伊较大规模的极度该事件检验数据集UCF-Crime，参考下表，该数据集比起之前的数据集的优点主要是两方面：一是音频的数量和音频的总时长要远远多于之前的数据集，二是其中包涵的极度该事件类型比较丰富。

在数据集构成方面，该数据集共包涵13种极度该事件。共有1900个音频，其中极度和一般来说音频各占950个。数据集划分方面，体能训练集包涵1610个音频（800个一般来说音频，810个极度音频），测试集包涵290个音频（150个一般来说，140个极度音频）。

数据集网址及该学术论文项目页见：Real-world Anomaly Detection in Surveillance Videos

实验结果

方式比较

责任编辑主要就以ROC曲线下的AUC来衡量极度检验演算法的效果，其实验结果如下表所示图和下表右图。能看出，其演算法比起之前的方式还是有很大的提高的。此外，加进体能训练中的束缚项也带来了一定的效果提升，不过不是很明显。

下图则是一些可视化的结果，能看出在译者挑选的这些例子中，极度检验的效果还是很不错的，最右一列则为一些失败案例。

虚假预警率分析

在监视各项任务情景中，两个可靠的系统如果具备较高的召回率和较低的误报率，译者比较了0.5阈值下的误报率，也具备不错的效果。

极度该事件分类

该书的方式只是做极度该事件proposal，但该书的数据集实际上还能做极度时间分类各项任务，因此该处译者还用C3D和TCNN两种行为识别演算法跑了两个baseline，能看出该处TCNN的效果还是比C3D要好很多。

小结与讨论

这首诗主要就针对极度该事件检验问题明确提出了一种捷伊弱监督管理演算法和两个捷伊数据集。演算法方面，主要就是将这个问题套用进了MIL的架构。这个数据集的明确提出如果对这个方向的发展会有比较大的帮助，此前极度检验一直没有比较大的数据集。

缺点方面，我认为对于极度检验这种数据不平衡各项任务，用PRC曲线会比ROC曲线能更好得起到衡量演算法效果的作用。即如果用Average Precision 来衡量极度检验效果。另外文中还着重衡量了虚报率，而在真实世界情景中对于极度该事件的召回率要更重要一些，毕竟漏过几个极度该事件比起虚报几个极度该事件带来的负面影响更大。

总的来说，极度该事件检验作为真实世界情景中两个非常重要的各项任务，目前针对性的科学研究还不是很多。如前所述这首诗明确提出的演算法思路和数据集，后面如果也会有更多的工作跟进吧。