[论文解读] Spatio-temporal Video Parsing for Abnormality Detection

Borislav Antić, Björn Ommer|Open access LMU (Ludwid Maxmilian's Universitat Munchen)|Feb 22, 2015

Anomaly Detection Techniques and Applications参考文献 37被引用 10

一句话总结

本文提出了一种用于异常检测的时空视频解析框架，通过联合推理正常物体假设来间接检测异常，而无需使用异常训练样本。通过将问题形式化为图模型中的凸优化任务，该方法在UCSD ped1和ped2等拥挤基准数据集上的异常分类和定位任务中均取得了最先进性能。

ABSTRACT

Abnormality detection in video poses particular challenges due to the infinite size of the class of all irregular objects and behaviors. Thus no (or by far not enough) abnormal training samples are available and we need to find abnormalities in test data without actually knowing what they are. Nevertheless, the prevailing concept of the field is to directly search for individual abnormal local patches or image regions independent of another. To address this problem, we propose a method for joint detection of abnormalities in videos by spatio-temporal video parsing. The goal of video parsing is to find a set of indispensable normal spatio-temporal object hypotheses that jointly explain all the foreground of a video, while, at the same time, being supported by normal training samples. Consequently, we avoid a direct detection of abnormalities and discover them indirectly as those hypotheses which are needed for covering the foreground without finding an explanation for themselves by normal samples. Abnormalities are localized by MAP inference in a graphical model and we solve it efficiently by formulating it as a convex optimization problem. We experimentally evaluate our approach on several challenging benchmark sets, improving over the state-of-the-art on all standard benchmarks both in terms of abnormality classification and localization.

研究动机与目标

• 解决在无异常训练数据的情况下检测罕见、未知异常事件的挑战。
• 克服现有方法将异常检测视为独立局部块分类的局限性。
• 开发一个统一框架，联合推理时空物体假设以解释前景像素。
• 通过识别无法由任何正常训练原型解释的假设来间接检测异常。
• 在无需任何异常标注的情况下实现像素级异常概率估计。

提出的方法

• 使用判别性背景分类器和基于运动的时序关联，在每帧中检测并分组前景物体候选，形成时空假设。
• 构建一个图模型，其中隐变量表示假设选择及其与正常原型的匹配。
• 将推理问题形式化为MAP估计任务，并转化为凸优化问题，以确保全局收敛。
• 利用形状、位置、外观和运动一致性，计算假设与正常原型之间的对应得分。
• 将前景解释建模为对数似然项之和，通过对数和指数变换确保凸性。
• 推导出关于解析指示变量的假设解释项的线性近似，以实现高效优化。

实验结果

研究问题

• RQ1 在不依赖异常训练数据的前提下，联合进行正常物体假设的时空解析是否能提升视频中的异常检测性能？
• RQ2 如何通过识别必须用于前景覆盖但无法由正常原型解释的假设来间接定位异常？
• RQ3 将推理问题形式化为凸优化问题在复杂拥挤场景中在多大程度上提升了鲁棒性和性能？
• RQ4 所提方法是否能在标准基准上同时实现异常分类和定位的最先进结果？
• RQ5 像素级异常概率图在无需任何异常标注的情况下，其在异常分割中的有效性如何？

主要发现

• 所提方法在所有标准基准上均达到最先进性能，包括UCSD ped1和ped2，在异常分类和定位任务中均优于先前方法。
• 该框架成功检测到自发性异常，如行人区域内的车辆或人行道上的骑行行为，即使这些事件未预先定义。
• 凸优化的使用确保了全局收敛和稳定推理，使复杂重叠场景中的可靠检测成为可能。
• 无需任何异常训练样本即可生成像素级异常概率图，通过间接推理有效分割异常区域。
• 由于其联合推理机制能够考虑相互重叠和时空一致性，该方法在高度拥挤场景中表现出强鲁棒性。
• 理论分析证实了目标函数的凸性，确保优化过程收敛至全局最优解。