[论文解读] Untrimmed Video Classification for Activity Detection: submission to ActivityNet Challenge

Gurkirt Singh, Fabio Cuzzolin|arXiv (Cornell University)|Jul 7, 2016

Human Pose and Action Recognition参考文献 7被引用 100

一句话总结

本文提出一个两阶段方法，利用未剪辑视频级别分类通过动态规划在未剪辑视频中实现时序活动检测，从而指导帧级 proposal 生成，在 ActivityNet 2016 比赛中获得亚军。

ABSTRACT

Current state-of-the-art human activity recognition is focused on the classification of temporally trimmed videos in which only one action occurs per frame. We propose a simple, yet effective, method for the temporal detection of activities in temporally untrimmed videos with the help of untrimmed classification. Firstly, our model predicts the top k labels for each untrimmed video by analysing global video-level features. Secondly, frame-level binary classification is combined with dynamic programming to generate the temporally trimmed activity proposals. Finally, each proposal is assigned a label based on the global label, and scored with the score of the temporal activity proposal and the global score. Ultimately, we show that untrimmed video classification models can be used as stepping stone for temporal detection.

研究动机与目标

• 推动在时序未剪辑的视频中实现超越单一动作帧的时序活动检测。
• 提出一个简单的基于融合的未剪辑分类管线以生成活动提案。
• 证明未剪辑视频分类可以作为时序检测的跳板。
• 在 ActivityNet 上进行评估以展示有竞争力的性能，并讨论在线检测的扩展。

提出的方法

• 提取视频级特征（Imagenet Shuffle、MBH 全局特征，以及平均池化的 C3D 帧级分数）。
• 在每种特征类型上对每个类别训练一对多线性 SVM，以获得分数 S^i、S^m、S^3。
• 将视频级分数与基于堆叠分数的线性 SVM 元分类器融合，以获得未剪辑分类分数 S^s。
• 在帧级 C3D 特征上为每个类别训练二分类随机森林分类器，以获得帧级正向分数 s^r_t。
• 将活动提案生成表述为一个 DP 最优化问题，选择一个分段常数标注以使帧分数之和减去边界惩罚达到最大。
• 为前几个活动提案分配类别标签，并与全局视频类别分数结合以产生检测结果。

实验结果

研究问题

• RQ1 是否可以利用未剪辑的视频级分类来检测未剪辑视频中的时序活动边界？
• RQ2 基于 DP 的框架从帧级二元决策中生成准确的活动提案的效果如何？
• RQ3 结合局部（帧级）和全局（视频级）分数是否能提升 ActivityNet 上的活动检测性能？
• RQ4 通过用前 k 个分数对 SVM 分数进行归一化对未剪辑分类性能有何影响？

主要发现

• 采用所提融合的未剪辑分类在验证集上实现高 TOP-1 与 TOP-3，并在测试集上获得强劲的未剪辑分类结果。
• 在 ActivityNet 挑战中，所提方法在验证集上优于所引用的基线（TOP-1 76.89%，TOP-3 89.25%，mAP 81.99%），并在测试集实现 TOP-1 77.08%，TOP-3 89.38%，mAP 82.49%。
• 通过基于 DP 的优化生成的活动提案与真实值对齐良好，实现有效的时序定位。
• 每个视频的前两名活动提案以顶级未剪辑分类类别标注，并通过全局分数与提案分数的乘积 (S_{c}^{s} * S_{a}) 进行评分。
• 动态规划为帧级二元决策提供高效解，生成连续的活动提案。
• 结果包括基于 TIoU 的评估，显示相对于基线的显著提升（验证集：0.1–0.5 TIoU 阈值）。
• 该方法展示了在线检测以及检测/分类同时扩展的潜力。