[论文解读] Towards Train-Test Consistency for Semi-supervised Temporal Action Localization

Xudong Lin, Zheng Shou+1 more|arXiv (Cornell University)|Oct 24, 2019

Human Pose and Action Recognition参考文献 64被引用 4

一句话总结

该论文提出TTC-Loc，一种用于弱监督时序动作定位的训练-测试一致性框架，通过在训练和推理阶段均预测自适应阈值，消除了训练阶段（注意力/MIL聚合）与测试阶段（固定阈值分割）策略之间的不一致。通过在训练过程中引入时序边界标注的显式监督，TTC-Loc在仅每类一个完全标注视频的条件下，于THUMOS'14数据集上实现了最先进性能，mAP达到33.4%（IoU=0.5）。

ABSTRACT

Recently, Weakly-supervised Temporal Action Localization (WTAL) has been densely studied but there is still a large gap between weakly-supervised models and fully-supervised models. It is practical and intuitive to annotate temporal boundaries of a few examples and utilize them to help WTAL models better detect actions. However, the train-test discrepancy of action localization strategy prevents WTAL models from leveraging semi-supervision for further improvement. At training time, attention or multiple instance learning is used to aggregate predictions of each snippet for video-level classification; at test time, they first obtain action score sequences over time, then truncate segments of scores higher than a fixed threshold, and post-process action segments. The inconsistent strategy makes it hard to explicitly supervise the action localization model with temporal boundary annotations at training time. In this paper, we propose a Train-Test Consistent framework, TTC-Loc. In both training and testing time, our TTC-Loc localizes actions by comparing scores of action classes and predicted threshold, which enables it to be trained with semi-supervision. By fixing the train-test discrepancy, our TTC-Loc significantly outperforms the state-of-the-art performance on THUMOS'14, ActivityNet 1.2 and 1.3 when only video-level labels are provided for training. With full annotations of only one video per class and video-level labels for the other videos, our TTC-Loc further boosts the performance and achieves 33.4\% mAP (IoU threshold 0.5) on THUMOS's 14.

研究动机与目标

• 通过利用有限的完全标注数据，缩小弱监督与全监督时序动作定位之间的性能差距。
• 识别并解决传统WTAL方法中存在的训练-测试不一致问题，即在训练和测试阶段采用不同的定位策略。
• 通过对齐训练与推理行为，使动作定位模型在训练过程中能够利用时序边界标注实现显式监督。
• 提出一种半监督时序动作定位（STAL）设置，结合视频级标签与稀疏完全标注，以提升模型泛化能力。
• 在弱监督与半监督设置下，于基准数据集上实现最先进性能。

提出的方法

• 引入一种训练-测试一致的定位策略，即在训练和推理阶段均使用预测的阈值进行动作片段检测，替代固定的手动阈值。
• 设计一种使用Sigmoid函数的可微分门控机制，从视频级特征生成自适应阈值，支持端到端训练。
• 制定正则化损失 $L_{\text{reg}}$，通过内积最大化动作分数与背景分数之间的边际，促进鲁棒的动作提议生成。
• 整合定位损失 $L_{\text{loc}}$，直接利用少数视频的时序边界标注对模型进行监督，实现半监督学习。
• 在视频级标签与部分完全标注数据上进行联合训练，其默认策略优于预训练与微调策略。
• 采用统一损失函数，结合分类损失 $L_{\text{clas}}$、正则化损失 $L_{\text{reg}}$ 和定位损失 $L_{\text{loc}}$，实现端到端优化。

实验结果

研究问题

• RQ1 消除动作定位中的训练-测试不一致性是否能提升弱监督设置下的模型性能？
• RQ2 在训练阶段预测自适应阈值如何影响模型利用时序边界标注的能力？
• RQ3 在半监督时序动作定位中，结合视频级标签与稀疏完全标注的最优训练策略是什么？
• RQ4 门控函数与正则化形式的选择是否显著影响定位性能？
• RQ5 一致的训练-测试策略是否能使半监督模型在极少完全标注数据下逼近全监督性能？

主要发现

• 在半监督设置下，TTC-Loc于THUMOS'14上达到32.0% mAP，显著优于先前最先进方法。
• 仅使用每类一个完全标注视频及其余视频的视频级标签，TTC-Loc在THUMOS'14上于IoU=0.5时达到33.4% mAP，展现出在极小监督下的强大泛化能力。
• 联合训练策略（结合完全监督与弱监督）优于预训练与微调策略，mAP达32.0% vs 后者的28.4%。
• Sigmoid门控函数表现更优（28.2% mAP），优于二值化（13.5%）与softsign（27.4%），表明其具有更好的优化稳定性。
• 内积形式的 $L_{\text{reg}}$ 表现最佳（28.2% mAP），优于L1、L2与余弦相似度，因其能更强地施加边际约束。
• 加入 $L_{\text{reg}}$ 与 $L_{\text{loc}}$ 显著提升定位精度，其中仅 $L_{\text{reg}}$ 即可使性能从18.4% mAP提升至28.2% mAP。