[论文解读] Unsupervised Discovery of Parts, Structure, and Dynamics

Zhenjia Xu, Zhijian Liu+5 more|arXiv (Cornell University)|Mar 12, 2019

Human Pose and Action Recognition被引用 25

一句话总结

本文提出 Parts, Structure, and Dynamics (PSD) 模型，这是一种自监督框架，能够从未标注的视频帧中学习解耦的、分层的对象表征与运动动态。通过结合分层图像表征、可微分的结构描述符以及未来帧预测，PSD 在真实和合成数据集上实现了无监督部分分割、分层结构发现和运动预测的最先进性能，且无需人工标注。

ABSTRACT

Humans easily recognize object parts and their hierarchical structure by watching how they move; they can then predict how each part moves in the future. In this paper, we propose a novel formulation that simultaneously learns a hierarchical, disentangled object representation and a dynamics model for object parts from unlabeled videos. Our Parts, Structure, and Dynamics (PSD) model learns to, first, recognize the object parts via a layered image representation; second, predict hierarchy via a structural descriptor that composes low-level concepts into a hierarchical structure; and third, model the system dynamics by predicting the future. Experiments on multiple real and synthetic datasets demonstrate that our PSD model works well on all three tasks: segmenting object parts, building their hierarchical structure, and capturing their motion distributions.

研究动机与目标

• 开发一种自监督模型，从未标注视频中发现可解释的、解耦的对象部件，且无需人工标注。
• 通过可微分的结构描述符，联合学习对象部件的分层组合结构。
• 仅使用成对视频帧，对对象部件的未来运动动态进行建模与预测。
• 实现对复杂真实世界 RGB 视频（包括人体运动）的零样本泛化，且输入需求极少。
• 验证模型在合成数据和真实世界数据中恢复有意义的部件分割、层次关系和运动分布的能力。

提出的方法

• PSD 模型使用分层图像表征从视频帧中识别并分割对象部件。
• 它采用可微分的结构描述符，通过可学习的结构矩阵 S，将低层部件组合成分层结构。
• 模型通过从两帧输入预测未来帧的重建损失进行端到端训练。
• 结构描述符作为完全可微分的模块集成在神经网络中，实现部件发现与层次学习的联合优化。
• 通过潜在空间采样，模型生成多样化且合理的未来序列，从而捕捉运动动态。
• 模型利用光学流估计（Liu, 2009）进行运动建模，并通过定性和定量指标进行评估。

实验结果

研究问题

• RQ1 自监督模型能否从未标注视频中发现解耦的对象部件，且无需人工标注？
• RQ2 模型能否在发现的对象部件之间学习到有意义的分层结构？
• RQ3 模型能否仅从两帧输入准确预测对象部件的未来运动动态？
• RQ4 模型在具有复杂运动与结构的复杂真实世界 RGB 视频上泛化能力如何？
• RQ5 所学习的表征在多大程度上可解释，并与人类感知的对象部件及其关系对齐？

主要发现

• 在人体运动数据集上，PSD 模型的部件分割平均 IoU 达到 0.474，显著优于 NEM (0.251) 和 R-NEM (0.276)。
• 在瑜伽数据集上，PSD 模型表现出稳健的部件分割能力，能高空间一致性地正确识别完整躯干、上半身、手臂和腿部。
• 结构矩阵 S 有效恢复了层次关系，例如手臂是上半身的组成部分，腿部是完整躯干的组成部分，如图 13h 和 14h 所示。
• 模型发现一个潜在维度对应持球的进攻球员，另一个对应球本身，第三个对应防守球员，揭示了球与控球球员之间的正确动态关系。
• 在未来帧生成方面，PSD 模型的预测质量更高、伪影更少，尤其在重复使用成对帧作为输入时，优于 3DcVAE。
• 模型成功捕捉了多个序列中的运动分布，生成了多样化且合理的未来帧，真实反映了动态行为。