[论文解读] SLAC: A Sparsely Labeled Dataset for Action Classification and Localization

Hang Zhao, Zhicheng Yan+3 more|arXiv (Cornell University)|Dec 26, 2017

Human Pose and Action Recognition被引用 22

一句话总结

本文提出SLAC，一个大规模视频数据集，包含520K段未剪辑视频和175万条稀疏剪辑标注，覆盖200个动作类别。该数据集通过一种可扩展的框架构建，通过仅聚焦于困难、模糊的剪辑进行标注，将人工标注时间减少了95%。在SLAC上进行预训练，可在HMDB-51上将动作识别准确率提升最高达35.4%，在THUMOS14上将动作定位mAP提升8.6%。

ABSTRACT

This paper describes a procedure for the creation of large-scale video datasets for action classification and localization from unconstrained, realistic web data. The scalability of the proposed procedure is demonstrated by building a novel video benchmark, named SLAC (Sparsely Labeled ACtions), consisting of over 520K untrimmed videos and 1.75M clip annotations spanning 200 action categories. Using our proposed framework, annotating a clip takes merely 8.8 seconds on average. This represents a saving in labeling time of over 95% compared to the traditional procedure of manual trimming and localization of actions. Our approach dramatically reduces the amount of human labeling by automatically identifying hard clips, i.e., clips that contain coherent actions but lead to prediction disagreement between action classifiers. A human annotator can disambiguate whether such a clip truly contains the hypothesized action in a handful of seconds, thus generating labels for highly informative samples at little cost. We show that our large-scale dataset can be used to effectively pre-train action recognition models, significantly improving final metrics on smaller-scale benchmarks after fine-tuning. On Kinetics, UCF-101 and HMDB-51, models pre-trained on SLAC outperform baselines trained from scratch, by 2.0%, 20.1% and 35.4% in top-1 accuracy, respectively when RGB input is used. Furthermore, we introduce a simple procedure that leverages the sparse labels in SLAC to pre-train action localization models. On THUMOS14 and ActivityNet-v1.3, our localization model improves the mAP of baseline model by 8.6% and 2.5%, respectively.

研究动机与目标

• 为解决动作识别与定位任务中大规模视频数据集创建所面临的高成本与可扩展性限制。
• 通过识别并优先标注最模糊、最难分类的剪辑，减少人工标注工作量。
• 开发一种可扩展的流程，利用网络规模的、无约束的视频数据进行数据集构建。
• 证明在SLAC上进行预训练可显著提升下游动作识别与定位基准测试的性能。

提出的方法

• 使用预训练的动作分类器从未剪辑的网络视频中自动提取候选剪辑。
• 将引发多个分类器预测不一致的剪辑识别为“困难剪辑”，作为人工标注的高优先级对象。
• 仅由人工标注者标注这些困难剪辑，每段剪辑平均耗时8.8秒，显著降低标注成本。
• 利用生成的稀疏标签对动作识别与动作定位模型进行预训练。
• 应用一种简单的方法，将稀疏的剪辑级标签适配用于弱监督动作定位。
• 在标准基准上微调预训练模型，以评估迁移性能。

实验结果

研究问题

• RQ1 可扩展的自动化流程是否能在保持标签质量的前提下，显著减少大规模视频数据集创建中的标注人力投入？
• RQ2 在SLAC上进行预训练对提升下游基准测试中的动作识别性能有多显著？
• RQ3 SLAC中的稀疏标签能否有效用于训练动作定位模型？
• RQ4 与随机或均匀采样标注相比，仅对困难剪辑进行人工标注是否能带来更好的模型性能？
• RQ5 SLAC在标准基准测试中，对Top-1准确率和mAP的性能提升如何？

主要发现

• 在使用RGB输入时，SLAC上的预训练使Kinetics数据集的Top-1准确率提升2.0%，UCF-101提升20.1%，HMDB-51提升35.4%。
• 所提出的标注框架将每段剪辑的平均标注时间降低至8.8秒，相比传统手动剪辑与定位方式节省超过95%的时间。
• 在所有评估的基准上，基于SLAC预训练的动作识别模型均优于从零开始训练的模型。
• 基于SLAC稀疏标签的弱监督定位方法在THUMOS14上将mAP提升8.6%，在ActivityNet-v1.3上提升2.5%。
• 该框架成功扩展至超过520K段未剪辑视频和200个动作类别下的175万条剪辑标注。
• 通过优先标注困难剪辑，确保了标签的高信息量，同时将人工工作量降至最低。