[论文解读] Unsupervised Representation Learning by Sorting Sequences

Hsin-Ying Lee, Jia‐Bin Huang+2 more|arXiv (Cornell University)|Aug 3, 2017

Human Pose and Action Recognition参考文献 39被引用 27

一句话总结

本文提出了一种无监督表示学习方法，通过训练卷积神经网络将时间上打乱的视频帧按时间顺序排序，利用时间连贯性作为自监督信号。通过在排序预测网络（OPN）中采用成对特征提取，该模型学习到可泛化的视觉表征，在作为预训练方法时，其在动作识别、图像分类和目标检测基准上均优于当前最先进方法。

ABSTRACT

We present an unsupervised representation learning approach using videos without semantic labels. We leverage the temporal coherence as a supervisory signal by formulating representation learning as a sequence sorting task. We take temporally shuffled frames (i.e., in non-chronological order) as inputs and train a convolutional neural network to sort the shuffled sequences. Similar to comparison-based sorting algorithms, we propose to extract features from all frame pairs and aggregate them to predict the correct order. As sorting shuffled image sequence requires an understanding of the statistical temporal structure of images, training with such a proxy task allows us to learn rich and generalizable visual representation. We validate the effectiveness of the learned representation using our method as pre-training on high-level recognition problems. The experimental results show that our method compares favorably against state-of-the-art methods on action recognition, image classification and object detection tasks.

研究动机与目标

• 开发一种自监督表示学习方法，利用未标注视频进行训练，且无需语义标注。
• 利用视频序列中的时间连贯性作为监督信号，以学习丰富的视觉特征。
• 提升在下游任务（如动作识别、图像分类和目标检测）中的泛化能力和性能。
• 设计一种神经网络架构——排序预测网络（OPN），通过成对特征融合有效解决序列排序任务。
• 验证通过序列排序进行无监督预训练可与有监督预训练相比达到相当的性能。

提出的方法

• 该方法将表示学习形式化为一个序列排序任务：给定一组随机打乱的视频帧，网络预测其正确的时序顺序。
• 提出一种排序预测网络（OPN），通过计算所有成对帧组合的特征，并聚合这些特征以预测相对顺序。
• 网络采用类似孪生网络的双分支架构，从每对帧中提取特征，随后通过融合模块预测正确的序列顺序。
• 为减少颜色偏差，该方法采用通道分离——每帧选择一个代表性通道，从而提升泛化能力并避免学习到依赖特定颜色的滤波器。
• 模型在大规模弱标注视频集合（如 UCF-101）上进行预训练，并在下游任务中使用少量标注数据进行微调。
• 采用标准基准进行评估：UCF-101 和 HMDB-51 用于动作识别，PASCAL VOC 2007 用于分类和检测。

实验结果

研究问题

• RQ1 在打乱的视频序列中进行时间顺序预测，能否作为学习通用视觉表征的有效自监督代理任务？
• RQ2 OPN 架构中的成对特征提取是否优于直接拼接帧特征的序列排序方法？
• RQ3 通过序列排序进行无监督预训练，能否在下游识别任务中达到与有监督预训练相当的性能？
• RQ4 训练视频的数量如何影响所学表征的质量？
• RQ5 所学特征在无任何监督的情况下，能在多大程度上捕捉到有意义的语义模式（如人体或物体部件）？

主要发现

• 在作为预训练方法时，该方法在 UCF-101 和 HMDB-51 动作识别基准上优于当前最先进自监督方法。
• 仅使用 1,000 个视频进行无监督预训练，该模型在 UCF-101 上的表现已超过 [24] 的结果。
• 在 PASCAL VOC 2007 数据集上，无监督预训练模型在图像分类和目标检测任务中取得了具有竞争力的结果，接近有监督基线。
• 与简单拼接相比，OPN 中的成对特征提取显著提升了排序预测准确率和下游任务性能，尤其在较长序列（4元组）中表现更优。
• 对 conv1 滤波器的可视化显示，通道分离减少了无效的“颜色块”滤波器数量，从而改善了微调行为。
• 在 VOC 2007 上的 Pool5 特征激活显示，能检测到有意义的区域（如人头和汽车部件），表明模型在无任何监督的情况下学习到了语义相关的特征。