[论文解读] SF-Net: Single-Frame Supervision for Temporal Action Localization

Fan Ma, Linchao Zhu+5 more|arXiv (Cornell University)|Mar 15, 2020

Human Pose and Action Recognition参考文献 42被引用 11

一句话总结

本文提出SF-Net，一种新颖的时序动作定位框架，利用单帧监督——即每个动作实例仅标注一帧——显著降低标注成本，同时实现接近完全监督方法的性能。通过预测帧级动作度分数，并从无标签数据中挖掘伪动作帧与伪背景帧，SF-Net在THUMOS14、GTEA和BEOID数据集上同时提升了动作片段与单帧定位的准确性，优于当前最先进的弱监督方法，并接近完全监督方法的性能。

ABSTRACT

In this paper, we study an intermediate form of supervision, i.e., single-frame supervision, for temporal action localization (TAL). To obtain the single-frame supervision, the annotators are asked to identify only a single frame within the temporal window of an action. This can significantly reduce the labor cost of obtaining full supervision which requires annotating the action boundary. Compared to the weak supervision that only annotates the video-level label, the single-frame supervision introduces extra temporal action signals while maintaining low annotation overhead. To make full use of such single-frame supervision, we propose a unified system called SF-Net. First, we propose to predict an actionness score for each video frame. Along with a typical category score, the actionness score can provide comprehensive information about the occurrence of a potential action and aid the temporal boundary refinement during inference. Second, we mine pseudo action and background frames based on the single-frame annotations. We identify pseudo action frames by adaptively expanding each annotated single frame to its nearby, contextual frames and we mine pseudo background frames from all the unannotated frames across multiple videos. Together with the ground-truth labeled frames, these pseudo-labeled frames are further used for training the classifier. In extensive experiments on THUMOS14, GTEA, and BEOID, SF-Net significantly improves upon state-of-the-art weakly-supervised methods in terms of both segment localization and single-frame localization. Notably, SF-Net achieves comparable results to its fully-supervised counterpart which requires much more resource intensive annotations. The code is available at https://github.com/Flowerfan/SF-Net.

研究动机与目标

• 在降低完全监督时序动作定位的高标注成本的同时，提升其性能，超越弱监督方法。
• 探究仅标注每个动作一个帧的单帧监督是否能提供足够的时序信号以实现精确的边界定位。
• 开发一种统一框架，通过伪标签化与动作度预测，有效利用有限的单帧标注信息。
• 提出并评估一项新任务：单帧定位，即每个动作仅需一个代表性帧。
• 通过使用最少但信息量丰富的监督信号，弥合弱监督与完全监督TAL之间的性能差距。

提出的方法

• 为每个视频帧预测一个动作度分数，以指示动作发生的可能性，从而辅助时序边界精炼。
• 利用一种新颖的背景帧挖掘算法，从多个视频的所有未标注帧中挖掘伪背景帧。
• 通过自适应地包含时序上相邻且置信度高的上下文帧，将标注的单帧扩展为伪动作帧。
• 使用真实标注帧、挖掘出的伪动作帧以及挖掘出的伪背景帧的组合进行分类器训练。
• 在推理阶段，对动作度分数序列采用阈值化策略以预测动作边界，无需回归头。
• 在统一的网络架构中整合类别分数与动作度分数，以提升定位准确性。

实验结果

研究问题

• RQ1 仅需为每个动作实例标注一帧的单帧监督，是否能显著降低标注成本，同时保持高定位准确性？
• RQ2 当仅有稀疏的单帧标注时，如何有效利用动作与背景帧的伪标签以提升模型泛化能力？
• RQ3 预测帧级动作度分数是否有助于区分动作与背景，并精炼时序边界？
• RQ4 SF-Net是否能在远低于完全监督方法的标注努力下，实现与之相当的性能？
• RQ5 在多种数据集上，单帧监督与弱监督在定位性能方面有何比较优势？

主要发现

• 在THUMOS14数据集上，SF-Net在仅使用人工标注的单帧进行训练时，IoU=0.5下的mAP达到51.5，优于所有先前的弱监督方法。
• 当从真实标注中模拟单帧标签时，SF-Net的mAP达到51.2，表明其在极低监督下仍具有强大性能。
• 在BEOID和GTEA数据集上，SF-Net显著优于弱监督基线方法，尤其在每视频包含多个动作类别的数据集中性能提升最大。
• 动作度模块与伪背景帧挖掘策略在THUMOS14和BEOID上提升了性能，但在GTEA上效果有限，原因在于背景帧数量稀少。
• 尽管标注工作量远低于完全监督方法，SF-Net在性能上与BMN和P-GCN等完全监督模型相当。
• 使用人工标注单帧训练的模型优于使用动作片段中均匀采样帧训练的模型，表明人工标注时序线索具有显著价值。