[论文解读] Unsupervised Video Analysis Based on a Spatiotemporal Saliency Detector

Qiang Zhang, Yilin Wang+1 more|arXiv (Cornell University)|Mar 24, 2015

Visual Attention and Saliency Detection参考文献 3被引用 5

一句话总结

本文提出了一种计算高效、无监督的时空显著性检测方法，用于视频分析，该方法利用视频体在三维傅里叶变换中的相位信息。通过计算归一化相位谱的逆傅里叶变换生成显著性图，该方法在无需训练或先验知识的情况下，捕捉了时空范围内的动态注意力区域，在基准数据集上的异常检测和时空兴趣点检测任务中达到了最先进性能。

ABSTRACT

Visual saliency, which predicts regions in the field of view that draw the most visual attention, has attracted a lot of interest from researchers. It has already been used in several vision tasks, e.g., image classification, object detection, foreground segmentation. Recently, the spectrum analysis based visual saliency approach has attracted a lot of interest due to its simplicity and good performance, where the phase information of the image is used to construct the saliency map. In this paper, we propose a new approach for detecting spatiotemporal visual saliency based on the phase spectrum of the videos, which is easy to implement and computationally efficient. With the proposed algorithm, we also study how the spatiotemporal saliency can be used in two important vision task, abnormality detection and spatiotemporal interest point detection. The proposed algorithm is evaluated on several commonly used datasets with comparison to the state-of-art methods from the literature. The experiments demonstrate the effectiveness of the proposed approach to spatiotemporal visual saliency detection and its application to the above vision tasks

研究动机与目标

• 开发一种简单、高效且无监督的方法，通过相位谱分析检测视频中的时空视觉显著性。
• 展示所计算显著性图在两个基础视觉任务中的实用性：异常检测和时空兴趣点检测。
• 在真实世界视频数据集上评估该方法，并与当前最先进方法在准确率和鲁棒性方面进行比较。
• 证明基于相位信息生成的显著性图能够有效突出移动物体和感兴趣的人体部位，即使在杂乱或移动背景等挑战性条件下亦然。

提出的方法

• 该方法对视频体 X ∈ ℝ^{M×N×T} 计算三维傅里叶变换，得到 Y = ℱ(X)，其中 ℱ 表示三维离散傅里叶变换。
• 将显著性图构建为 |ℱ⁻¹(Y / |Y|)|²，通过归一化幅度来强调相位信息，利用相位与显著性之间的理论关联。
• 使用三维高斯滤波器对显著性图进行平滑处理，以减少噪声并增强时空一致性。
• 该算法一次性处理整个视频序列，捕捉长时序动态，而非依赖于成对帧差分。
• 该方法完全无监督，无需训练、先验知识或手动调参，且由于基于FFT计算，时间复杂度为 O(N log N)。
• 通过将显著性图用作特征提取的聚焦掩码，可灵活集成至下游任务中，例如在动作识别中使用基于直方图的描述符。

实验结果

研究问题

• RQ1 基于相位的时空显著性检测是否能在无监督条件下有效突出视频中的移动物体和人体动作？
• RQ2 在多种视频条件下，该方法在准确率和鲁棒性方面与当前最先进显著性检测器相比表现如何？
• RQ3 所计算的时空显著性图是否能提升下游视觉任务（如异常检测和兴趣点检测）的性能？
• RQ4 与从完整视频中提取特征相比，从显著性图中提取特征是否能在动作识别任务中带来更好的性能？

主要发现

• 在Weizmann数据集上，使用显著性图特征时，该方法取得了95.6%的最高准确率，在KTH数据集上达到92.6%的准确率（记为‘proposed*’），优于所有基线检测器。
• 在UCF Sports数据集上，该方法使用显著性图特征取得了86.7%的准确率，较最佳基线（Dense: 81.6%）高出5.1个百分点。
• 显著性图能有效突出移动的身体部位，如手和四肢，使其显著性值（红色区域）高于静态身体部位。
• 该方法在移动背景、杂乱场景和尺度变化条件下表现出鲁棒性，UCF Sports和KTH数据集的定性结果已验证此点。
• 使用显著性图进行特征提取显著提升了识别性能，尤其在KTH和Weizmann等背景简单的数据集中表现更优。
• 理论与实证分析表明，基于相位的显著性计算与四元数傅里叶变换方法高度相关，验证了该方法的一致性与有效性。