[论文解读] Self-Supervised Learning via Conditional Motion Propagation

Xiaohang Zhan, Xingang Pan+3 more|arXiv (Cornell University)|Mar 27, 2019

Human Pose and Action Recognition参考文献 36被引用 6

一句话总结

本文提出条件运动传播（CMP），一种自监督学习框架，通过从单张图像中以稀疏运动引导为条件来预测密集光流，训练视觉表征。通过将运动预测建模为条件传播任务，CMP 在无需显式运动建模或对物体刚性施加强假设的情况下，学习到符合运动学规律的结构化特征，在语义分割、实例分割和人体解析基准上达到最先进性能。

ABSTRACT

Intelligent agent naturally learns from motion. Various self-supervised algorithms have leveraged motion cues to learn effective visual representations. The hurdle here is that motion is both ambiguous and complex, rendering previous works either suffer from degraded learning efficacy, or resort to strong assumptions on object motions. In this work, we design a new learning-from-motion paradigm to bridge these gaps. Instead of explicitly modeling the motion probabilities, we design the pretext task as a conditional motion propagation problem. Given an input image and several sparse flow guidance vectors on it, our framework seeks to recover the full-image motion. Compared to other alternatives, our framework has several appealing properties: (1) Using sparse flow guidance during training resolves the inherent motion ambiguity, and thus easing feature learning. (2) Solving the pretext task of conditional motion propagation encourages the emergence of kinematically-sound representations that poss greater expressive power. Extensive experiments demonstrate that our framework learns structural and coherent features; and achieves state-of-the-art self-supervision performance on several downstream tasks including semantic segmentation, instance segmentation, and human parsing. Furthermore, our framework is successfully extended to several useful applications such as semi-automatic pixel-level annotation. Project page: "http://mmlab.ie.cuhk.edu.hk/projects/CMP/".

研究动机与目标

• 解决自监督表征学习中运动固有的模糊性和复杂性问题。
• 克服先前方法依赖于物体运动强假设（例如每个物体的均匀运动）的局限性。
• 利用运动线索从无标注数据中学习结构化、一致且符合运动学规律的视觉特征。
• 开发一种可泛化至多种物体类型（包括铰接式和可变形物体）的框架。
• 实现实际应用，如引导视频生成和无需人工标注的半自动像素级标注。

提出的方法

• 该框架由三部分组成：图像编码器、稀疏运动编码器和密集运动解码器。
• 训练期间，使用‘分水岭’策略从真实光流中采样稀疏运动引导向量，以减少模糊性。
• 模型被训练为从单张图像中预测完整光流，条件是这些稀疏引导向量。
• 条件预测任务迫使图像编码器学习支持准确运动传播的运动学一致表征。
• 该方法在预训练期间利用现成的光流估计进行监督，但在推理阶段无需依赖它。
• 模型在推理时可泛化至任意引导输入，支持交互式分割和视频生成等应用。

实验结果

研究问题

• RQ1 自监督学习框架能否在不显式建模运动概率的情况下有效利用运动线索？
• RQ2 如何利用稀疏引导解决视觉表征学习中的运动模糊性问题？
• RQ3 模型能否在不假设物体刚性或均匀运动的前提下，从未标注数据中学习到符合运动学规律的运动模式？
• RQ4 条件运动传播在多大程度上能提升下游视觉任务（如分割）的性能？
• RQ5 所学表征能否扩展至引导视频生成和交互式标注等实际应用？

主要发现

• CMP 在自监督预训练下于 PASCAL VOC 2012 语义分割基准上达到最先进性能。
• 该方法在 COCO 实例分割和 LIP 人体解析基准上使用 ResNet-50 作为主干网络时也实现了最先进结果。
• CMP 在半自动标注中对未见过的和不常见的物体类别（如纸箱、后视镜和机器人）泛化良好。
• 在交互式标注中，CMP 表现优于监督的 Polygon RNN++ 方法，在测试集中 0/170 次失败，而 Polygon RNN++ 失败了 25 次。
• CMP 支持具有复杂结构的物体，如不连通和多重连通区域，而 Polygon RNN++ 无法处理此类结构。
• 该方法比 Polygon RNN++ 更快（每实例 10.2 秒 vs. 17.6 秒），且以无监督方式运行，无需类别特定标注。