[论文解读] Unsupervised Keypoint Learning for Guiding Class-Conditional Video Prediction

Yunji Kim, Seonghyeon Nam+2 more|arXiv (Cornell University)|Oct 4, 2019

Human Pose and Action Recognition被引用 30

一句话总结

本文提出了一种用于类别条件视频预测的无监督关键点学习方法，其中运动被建模为从单张图像和动作类别预测的关键点序列，并用于引导图像转换以生成未来帧。该方法在训练过程中使用预测的关键点作为伪标签，无需任何人工标注的关键点标签，即可实现最先进的视觉质量。

ABSTRACT

We propose a deep video prediction model conditioned on a single image and an action class. To generate future frames, we first detect keypoints of a moving object and predict future motion as a sequence of keypoints. The input image is then translated following the predicted keypoints sequence to compose future frames. Detecting the keypoints is central to our algorithm, and our method is trained to detect the keypoints of arbitrary objects in an unsupervised manner. Moreover, the detected keypoints of the original videos are used as pseudo-labels to learn the motion of objects. Experimental results show that our method is successfully applied to various datasets without the cost of labeling keypoints in videos. The detected keypoints are similar to human-annotated labels, and prediction results are more realistic compared to the previous methods.

研究动机与目标

• 为解决从单张图像和动作类别生成逼真未来视频帧的挑战，尤其是在非结构化和多样的场景中。
• 克服黑箱视频预测模型产生的模糊输出以及在新场景中失效的局限性。
• 通过无监督方式训练关键点检测器，消除对昂贵人工标注关键点标签的需求。
• 通过将运动（通过关键点）与内容（通过图像转换）解耦，提升视频预测质量，增强时间一致性与真实感。

提出的方法

• 使用真实视频序列中预测的关键点作为伪标签，无监督地训练关键点检测器，从而在无需人工标注的情况下检测特定物体的关键点。
• 将检测到的关键点的运动建模为一个序列，用于预测随时间步长变化的未来物体姿态。
• 采用关键点引导的图像转换网络，根据预测的关键点序列对输入图像进行转换，通过变换前景物体生成未来帧，同时保留背景上下文。
• 引入背景掩码生成模块，通过将合成重点放在运动物体上，降低建模复杂度，提升转换质量。
• 使用对抗性损失和重建损失，端到端训练网络，关键点检测器与运动生成器联合优化。
• 模型同时以输入图像和动作类别作为条件，实现多样化且合理的未来视频序列的类别条件生成。

实验结果

研究问题

• RQ1 无监督关键点检测是否能在无需人工标注关键点标签的情况下，提升类别条件视频预测的真实感与多样性？
• RQ2 将运动建模为关键点序列与端到端像素级视频生成相比，在视觉质量和泛化能力方面表现如何？
• RQ3 在参考关键点与目标关键点之间引入类比关系，能在多大程度上提升关键点检测与图像转换的性能？
• RQ4 背景掩码生成模块是否能通过降低场景建模的复杂度，提升生成帧的质量？
• RQ5 该方法在输入图像中存在多个大小相似或方向模糊的物体时，其鲁棒性如何？

主要发现

• 在 Mechanical Turk 研究中，该方法获得了最高的用户评分，尽管训练过程中未使用任何标注的关键点，其在视觉质量和运动合理性方面均优于所有基线模型。
• 该模型在 Penn Action 和 UCF-101 数据集上达到了最先进性能，能够为各类动作生成逼真且多样的未来帧。
• 消融实验表明，引入参考关键点和背景掩码生成模块显著提升了关键点检测准确率与图像转换质量。
• 该方法无需微调或重新训练即可泛化到多样化数据集，展现出对未见场景与动作的强大零样本适用性。
• 失败案例主要源于在多个大小相似的物体或方向不敏感检测导致的检测错误，进而引发运动反转，表明在复杂或模糊场景中仍存在局限性。