[论文解读] Video Representation Learning Using Discriminative Pooling

Jue Wang, Anoop Cherian+2 more|arXiv (Cornell University)|Mar 26, 2018

Human Pose and Action Recognition参考文献 45被引用 18

一句话总结

本文提出了一种名为判别性池化（Discriminative Pooling）的新视频表征学习方法，该方法利用可学习的基于SVM的超平面，从背景噪声中区分出具有判别性的片段级特征，从而实现鲁棒且端到端可训练的视频级表征。该方法在HMDB-51、Charades和NTU-RGBD数据集上均取得了当前最优性能，相比以往的池化方案准确率提升1%–4%。

ABSTRACT

Popular deep models for action recognition in videos generate independent predictions for short clips, which are then pooled heuristically to assign an action label to the full video segment. As not all frames may characterize the underlying action---indeed, many are common across multiple actions---pooling schemes that impose equal importance on all frames might be unfavorable. In an attempt to tackle this problem, we propose discriminative pooling, based on the notion that among the deep features generated on all short clips, there is at least one that characterizes the action. To this end, we learn a (nonlinear) hyperplane that separates this unknown, yet discriminative, feature from the rest. Applying multiple instance learning in a large-margin setup, we use the parameters of this separating hyperplane as a descriptor for the full video segment. Since these parameters are directly related to the support vectors in a max-margin framework, they serve as robust representations for pooling of the features. We formulate a joint objective and an efficient solver that learns these hyperplanes per video and the corresponding action classifiers over the hyperplanes. Our pooling scheme is end-to-end trainable within a deep framework. We report results from experiments on three benchmark datasets spanning a variety of challenges and demonstrate state-of-the-art performance across these tasks.

研究动机与目标

• 为解决启发式池化（如平均池化或最大池化）将所有片段级预测同等对待的局限性，无论其判别性高低。
• 通过识别并强调最能表征真实动作的片段级特征，改进视频表征学习。
• 将视频池化建模为多实例学习（MIL）问题，目标是将具有判别性的特征与背景或噪声特征分离。
• 开发一种端到端可训练的框架，联合优化判别性超平面与动作分类器。
• 在多样化的视频理解基准上展示优越性能，包括动作识别、动作预测、检测以及基于骨骼的动作识别。

提出的方法

• 该方法将视频序列建模为‘袋’（bags）形式的片段级特征集合，其中正样本袋包含视频中的特征，负样本袋包含来自背景或噪声帧的特征。
• 通过非线性SVM构建一个大间隔二分类问题，以分离最具判别性的特征与其他特征，其中超平面参数即作为视频级描述符。
• 采用联合优化目标，实现判别性超平面（SVMP描述符）与最终动作分类器的端到端联合训练。
• 该框架支持深度卷积神经网络特征与人工设计特征（如IDT-FV），具备广泛适用性。
• 对于非线性决策边界，该方法采用核化SVM，增强判别能力的同时不牺牲计算效率。
• 通过将现有CNN架构中的全局平均池化层替换为SVMP层，将该方法集成到现有网络中，实现完整的端到端训练。

实验结果

研究问题

• RQ1 能否通过学习信息性与非信息性片段级特征之间分离超平面的判别性池化机制，提升视频表征学习性能？
• RQ2 在多样化的视频理解任务中，所提出的基于SVM的池化方案相较于平均池化、最大池化或排名池化，在鲁棒性与准确率方面表现如何？
• RQ3 该方法在不同特征类型（深度CNN特征 vs. 人工设计特征）和视频数据集上具有多大程度的泛化能力？
• RQ4 联合学习SVMP描述符与动作分类器是否能优于分别训练池化与分类模块？
• RQ5 当应用于预训练模型（如I3D）时，该方法是否无需微调仍能保持强性能？

主要发现

• 在HMDB-51数据集上，所提出的SVMP方法在使用ResNet + IDT特征时达到72.6%的准确率，比之前最先进方法高出1.3%。
• 在Charades数据集上，SVMP在分类任务中达到26.7%的mAP，在检测任务中达到14.2%，分别优于次优方法4.3%和3.0%。
• 在NTU-RGBD数据集上，SVMP将跨主体准确率提升至78.5%，跨视角准确率提升至86.4%，分别超过最佳基线4.2%和3.3%。
• 在HMDB-51上，使用I3D+模型时，SVMP达到81.3%的准确率，比原始I3D+模型（80.9%）高出0.4%，且无需额外数据。
• t-SNE可视化结果表明，SVMP生成的特征簇更具判别性且分离更清晰，优于平均池化或最大池化。
• 大量消融实验表明，SVMP在所有数据集和特征类型上均持续提升性能，显示出强大的泛化能力与鲁棒性。