[论文解读] Unsupervised Learning using Sequential Verification for Action Recognition.

Ishan Misra, C. Lawrence Zitnick+1 more|arXiv (Cornell University)|Mar 28, 2016

Human Pose and Action Recognition参考文献 75被引用 36

一句话总结

本文提出一种无监督学习方法，通过训练卷积神经网络（CNN）来验证视频帧的时间顺序正确性，从而在无需语义标签的情况下学习强大的时空表征。该方法作为预训练模型在UCF101和HMDB51数据集上实现了显著的准确率提升，并在仅使用少量监督信号的FLIC数据集上取得了具有竞争力的人体姿态估计结果。

ABSTRACT

In this paper, we consider the problem of learning a visual representation from the raw spatiotemporal signals in videos for use in action recognition. Our representation is learned without supervision from semantic labels. We formulate it as an unsupervised sequential verification task, i.e., we determine whether a sequence of frames from a video is in the correct temporal order. With this simple task and no semantic labels, we learn a powerful unsupervised representation using a Convolutional Neural Network (CNN). The representation contains complementary information to that learned from supervised image datasets like ImageNet. Qualitative results show that our method captures information that is temporally varying, such as human pose. When used as pre-training for action recognition, our method gives significant gains over learning without external data on benchmark datasets like UCF101 and HMDB51. Our method can also be combined with supervised representations to provide an additional boost in accuracy for action recognition. Finally, to quantify its sensitivity to human pose, we show results for human pose estimation on the FLIC dataset that are competitive with approaches using significantly more supervised training data.

研究动机与目标

• 从原始视频时空信号中学习有意义的视觉表征，而无需依赖语义标签。
• 通过构建自监督学习任务，解决视频动作识别中监督信号有限的挑战。
• 开发一种方法，通过无监督预训练捕捉随时间变化的特征（如人体姿态）。
• 利用无监督预训练提升在UCF101和HMDB51等基准数据集上的下游动作识别性能。
• 评估该方法在其他视觉任务（如人体姿态估计）中的迁移能力，尤其是在监督信号极少的情况下。

提出的方法

• 该方法将无监督学习形式化为序列验证任务：判断视频帧序列是否按正确的时间顺序排列。
• 训练卷积神经网络（CNN）对序列进行二分类判断（'正确'或'错误'顺序），通过该二分类任务学习时间依赖关系。
• 网络学习到的表征能够编码动态的、随时间变化的视觉模式，如人体运动与姿态变化。
• 将学习到的表征作为预训练权重，用于UCF101和HMDB51数据集上的下游动作识别模型。
• 该方法可与ImageNet预训练的监督特征结合，进一步提升性能。
• 在FLIC数据集上评估该方法在人体姿态估计任务中的表现，以检验其对姿态相关特征的敏感性。

实验结果

研究问题

• RQ1 一个简单的无监督序列验证任务是否能从原始视频中学习到有效的时空表征？
• RQ2 这些无监督表征在UCF101和HMDB51等标准基准上的动作识别任务中泛化能力如何？
• RQ3 所学习的表征在多大程度上捕捉了随时间变化的特征（如人体姿态）？
• RQ4 无监督表征能否与监督表征有效结合，进一步提升动作识别准确率？
• RQ5 该方法在零样本或少样本迁移任务（如人体姿态估计）中的表现如何？

主要发现

• 将无监督序列验证方法作为预训练时，在UCF101和HMDB51数据集上实现了显著的准确率提升，优于未使用外部数据训练的模型。
• 定性分析表明，所学习的表征能够捕捉随时间变化的视觉信息（如人体姿态的变化）。
• 该方法提供了与ImageNet监督特征互补的表征，两者结合可进一步提升性能。
• 在用于人体姿态估计的FLIC数据集上，该方法取得了具有竞争力的结果，且所需监督训练数据远少于其他方法。
• 该方法在下游视觉任务中表现出强大的迁移能力，表明所学习的表征具有语义意义且对时间变化敏感。
• 序列验证任务能有效促使网络在无显式监督的情况下学习运动与时间结构。