[论文解读] Unsupervised Learning of Object Structure and Dynamics from Videos

Matthias Minderer, Chen Sun+4 more|arXiv (Cornell University)|Jun 19, 2019

Human Pose and Action Recognition参考文献 39被引用 19

一句话总结

本文提出了一种新颖的无监督视频生成框架，通过基于关键点的表征联合学习物体结构与动态。通过引入稀疏性损失和分离损失，模型实现了稳定的、解耦的关键点检测以及高保真度的视频预测，在FVD和跟踪准确率方面显著优于基线模型。

ABSTRACT

Extracting and predicting object structure and dynamics from videos without supervision is a major challenge in machine learning. To address this challenge, we adopt a keypoint-based image representation and learn a stochastic dynamics model of the keypoints. Future frames are reconstructed from the keypoints and a reference frame. By modeling dynamics in the keypoint coordinate space, we achieve stable learning and avoid compounding of errors in pixel space. Our method improves upon unstructured representations both for pixel-level video prediction and for downstream tasks requiring object-level understanding of motion dynamics. We evaluate our model on diverse datasets: a multi-agent sports dataset, the Human3.6M dataset, and datasets based on continuous control tasks from the DeepMind Control Suite. The spatially structured representation outperforms unstructured representations on a range of motion-related tasks such as object tracking, action recognition and reward prediction.

研究动机与目标

• 从视频中无监督地学习解耦的、具有空间意义的物体结构与动态。
• 解决无监督训练过程中关键点检测的不稳定性和崩溃问题。
• 通过鼓励生成序列中的多样性与时间一致性，提升视频预测质量。
• 在无需真实标注的情况下实现鲁棒的关键点跟踪与下游任务性能。
• 证明结构化潜在表征对于建模复杂视频动态至关重要。

提出的方法

• 使用关键点检测器从视频帧中提取具有空间结构的稀疏二维坐标。
• 采用CNN-VRNN通过变分循环网络建模检测到的关键点的时间动态。
• 引入稀疏性损失 $\mathcal{L}_{\text{sparse}}$，以鼓励每帧仅保留少量关键点。
• 应用具有小空间高斯半径的分离损失 $\mathcal{L}_{\text{sep}}$，以防止关键点崩溃。
• 将关键点检测器与动态模型分别训练，以避免生成非结构化的潜在代码。
• 使用基于VGG的感知相似性与Fréchet Video Distance (FVD) 评估样本质量与多样性。

实验结果

研究问题

• RQ1 无监督视频模型能否在无监督条件下学习到解耦的、具有空间结构的物体表征？
• RQ2 $\mathcal{L}_{\text{sparse}}$ 和 $\mathcal{L}_{\text{sep}}$ 如何提升模型的稳定性和性能？
• RQ3 该模型在多大程度上能生成多样且合理的视频未来？
• RQ4 为何关键点检测器与动态模型的独立训练优于端到端联合训练？
• RQ5 该模型对初始化和物体外观变化的鲁棒性如何？

主要发现

• 引入 $\mathcal{L}_{\text{sparse}}$ 和 $\mathcal{L}_{\text{sep}}$ 显著提升了视频生成质量（FVD）与关键点跟踪准确率。
• VRNN在缺乏显式一致性约束的情况下，部分缓解了关键点在帧间“跳跃”现象，显示出时间平滑效果。
• 即使在VGG余弦相似度较低的样本中，模型仍能生成高质量的视觉结果，表明其具有强大的多样性与真实感。
• FVD得分表明，与先前方法相比，该模型能生成更多样化且更合理的视频未来。
• 失败案例包括对快速移动物体（如篮球）的跟踪不佳，以及对外观变化（如浅色球员）敏感，表明检测鲁棒性存在局限。
• 关键点检测器与动态模型的独立训练可防止模型坍塌为非结构化的潜在代码，从而实现对结构化动态的稳定学习。