[论文解读] Pose from Action: Unsupervised Learning of Pose Features based on Motion

Senthil Purushwalkam, Abhinav Gupta|arXiv (Cornell University)|Sep 18, 2016

Human Pose and Action Recognition参考文献 33被引用 15

一句话总结

该论文提出了一种无监督方法，通过利用运动作为监督信号，从人体动作视频中学习姿态感知的视觉特征。采用具有共享外观和运动流的三元组网络，训练CNN以预测帧间运动转换，从而编码姿态特征，在微调姿态估计和动作识别任务时实现了最先进性能，且无需人工标注。

ABSTRACT

Human actions are comprised of a sequence of poses. This makes videos of humans a rich and dense source of human poses. We propose an unsupervised method to learn pose features from videos that exploits a signal which is complementary to appearance and can be used as supervision: motion. The key idea is that humans go through poses in a predictable manner while performing actions. Hence, given two poses, it should be possible to model the motion that caused the change between them. We represent each of the poses as a feature in a CNN (Appearance ConvNet) and generate a motion encoding from optical flow maps using a separate CNN (Motion ConvNet). The data for this task is automatically generated allowing us to train without human supervision. We demonstrate the strength of the learned representation by finetuning the trained model for Pose Estimation on the FLIC dataset, for static image action recognition on PASCAL and for action recognition in videos on UCF101 and HMDB51.

研究动机与目标

• 通过利用视频中的运动作为自监督信号，解决视觉表征学习中人工标注的瓶颈问题。
• 通过建模姿态之间的可预测运动模式，无须人工标注标签即可学习姿态感知的视觉特征。
• 证明基于运动的监督可生成高度可迁移的外观表征，适用于姿态估计和动作识别等下游任务。
• 提供一种通用框架，用于从视频数据中学习姿态编码特征，尤其适用于人体动作。

提出的方法

• 该方法使用带有共享权重的三元组孪生网络，分别处理外观流和运动流，其中两个流处理第一帧和第n帧，第三个流处理它们之间的光流。
• 外观特征通过应用于RGB帧的CNN（外观卷积网络）提取，而运动特征则通过另一独立CNN（运动卷积网络）从光流图中提取。
• 网络通过三元组损失进行训练，以判断两帧之间的运动是否与外观变化一致，该损失鼓励相似姿态具有相似的运动模式。
• 运动监督信号自动从视频序列中获得，无需人工标注的姿态或动作标签。
• 模型在大规模动作视频上进行预训练，并在下游任务（如姿态估计和动作识别）上进行微调。
• 采用双流架构以联合学习外观和运动表征，灵感来源于双流网络在动作识别中的成功应用。

实验结果

研究问题

• RQ1 视频中的运动模式能否作为学习姿态感知视觉表征的强自监督信号？
• RQ2 基于帧间运动转换的无监督学习方法是否能生成比随机初始化更具迁移性的外观特征？
• RQ3 基于运动的监督能否在无需人工标注数据的情况下提升姿态估计和动作识别任务的性能？
• RQ4 基于运动的预训练方法与其它基于视频的自监督方法相比，在标准基准上的表现如何？

主要发现

• 在微调后，预训练的外观卷积网络在UCF101上达到55.4%的准确率，在HMDB51上达到23.6%，显著优于从随机初始化训练的基线方法（分别为42.5%和15.1%）。
• 在仅使用50张训练图像的PASCAL VOC静态图像动作分类任务中，该方法达到22.7%的准确率，较之前最先进方法提升2.5%。
• 仅微调最后两个全连接层即可在HMDB51上达到19.1%的准确率，在UCF101上达到41.4%，证明了所学习特征的强大迁移能力。
• 该模型在所有评估基准上均优于其他基于视频的无监督方法，包括[11]，表明运动作为监督信号的有效性。
• 结果证实，姿态之间的运动模式是无监督学习姿态编码视觉特征的可靠且强信号。