[论文解读] Proposal-Based Multiple Instance Learning for Weakly-Supervised Temporal Action Localization

Huan Ren, Wenfei Yang+2 more|arXiv (Cornell University)|May 29, 2023

Human Pose and Action Recognition被引用 5

一句话总结

本文提出了一种基于提议的多实例学习（P-MIL）框架，用于弱监督时序动作定位，该框架在训练和推理过程中直接对候选提议进行分类，克服了现有 S-MIL 方法中片段级训练与提议级测试之间的不一致性。该方法引入了周围对比特征提取模块、提议完整度评估模块以及实例级排序一致性损失，实现了最先进性能，在 THUMOS14 和 ActivityNet 上达到了 46.5% 的平均 mAP。

ABSTRACT

Weakly-supervised temporal action localization aims to localize and recognize actions in untrimmed videos with only video-level category labels during training. Without instance-level annotations, most existing methods follow the Segment-based Multiple Instance Learning (S-MIL) framework, where the predictions of segments are supervised by the labels of videos. However, the objective for acquiring segment-level scores during training is not consistent with the target for acquiring proposal-level scores during testing, leading to suboptimal results. To deal with this problem, we propose a novel Proposal-based Multiple Instance Learning (P-MIL) framework that directly classifies the candidate proposals in both the training and testing stages, which includes three key designs: 1) a surrounding contrastive feature extraction module to suppress the discriminative short proposals by considering the surrounding contrastive information, 2) a proposal completeness evaluation module to inhibit the low-quality proposals with the guidance of the completeness pseudo labels, and 3) an instance-level rank consistency loss to achieve robust detection by leveraging the complementarity of RGB and FLOW modalities. Extensive experimental results on two challenging benchmarks including THUMOS14 and ActivityNet demonstrate the superior performance of our method.

研究动机与目标

• 解决现有 S-MIL 框架在弱监督时序动作定位中训练（片段级评分）与测试（提议级评分）目标之间的不一致性问题。
• 通过在特征提取过程中利用周围上下文信息，抑制对判别性短提议的过拟合。
• 通过使用完整度伪标签和模态互补性，改进低质量提议，提升检测鲁棒性。
• 通过实例级排序一致性损失，增强同一动作实例中各提议之间的相对评分一致性。
• 通过在整个流程中直接分类提议，实现训练与测试目标的统一。

提出的方法

• 提出两阶段训练流程：首先预训练一个 S-MIL 模型以生成候选提议，然后微调一个 P-MIL 模型以直接分类这些提议。
• 引入周围对比特征提取（SCFE）模块，通过扩展提议边界并计算内外部对比特征，抑制过度自信的短提议。
• 采用提议完整度评估（PCE）模块，利用高置信度提议作为伪实例，通过 IoU 生成完整度伪标签，抑制低质量提议。
• 设计实例级排序一致性（IRC）损失，利用 RGB 与 FLOW 模态的互补性，稳定同一动作实例中提议簇内的相对评分。
• 使用统一损失函数，结合分类、完整度和排序一致性目标，通过超参数 λcomp 和 λIRC 进行平衡。
• 在训练过程中引入额外的背景提议，以改善前景-背景分离，增强泛化能力。

实验结果

研究问题

• RQ1 一种直接分类提议的 P-MIL 框架能否统一训练与测试目标，从而提升定位性能？
• RQ2 周围对比特征提取在抑制判别性短提议和改善特征表示方面效果如何？
• RQ3 完整度伪标签在多大程度上提升了提议评分质量和检测准确率？
• RQ4 在相同动作实例的提议之间强制实施实例级排序一致性，是否能提升检测鲁棒性和 mAP？
• RQ5 P-MIL 模型对超参数设置的敏感性如何，是否能在不同配置下保持稳定性能？

主要发现

• P-MIL 框架在 THUMOS14 和 ActivityNet 基准上实现了 46.5% 的平均 mAP，比 S-MIL 基线高出 2.9% 的 mAP。
• 在训练中加入背景提议后，mAP 从 41.2% 提升至 46.5%，表明前景-背景分离增强具有显著优势。
• 与基线特征提取相比，周围对比特征提取（SCFE）模块使 mAP 提升 5.5%，验证了其在抑制短判别性提议方面的有效性。
• 提议完整度评估（PCE）模块使 mAP 提升 0.7%，实例级排序一致性（IRC）损失使 mAP 提升 0.8%，联合提升达 1.3%。
• 该模型对超参数 λcomp 和 λirc 敏感度较低，在不同设置下 mAP@0.5 波动小于 2%，表明具有良好的鲁棒性。
• 融合 S-MIL 与 P-MIL 模型的预测结果可进一步将 mAP 提升至 47.0%，证实了两种方法之间的互补优势。