[论文解读] Unsupervised Learning of Latent Physical Properties Using Perception-Prediction Networks

David Zheng, Vinson Luo+2 more|arXiv (Cornell University)|Jul 24, 2018

Neural Networks and Applications被引用 47

一句话总结

该论文提出感知-预测网络（PPN），一种无监督的基于图的模型，从动力学中学习潜在对象属性以预测未来运动，并且能够恢复如质量和恢复系数等人类可解释属性。它对未见对象数量和属性范围具有泛化能力。

ABSTRACT

We propose a framework for the completely unsupervised learning of latent object properties from their interactions: the perception-prediction network (PPN). Consisting of a perception module that extracts representations of latent object properties and a prediction module that uses those extracted properties to simulate system dynamics, the PPN can be trained in an end-to-end fashion purely from samples of object dynamics. The representations of latent object properties learned by PPNs not only are sufficient to accurately simulate the dynamics of systems comprised of previously unseen objects, but also can be translated directly into human-interpretable properties (e.g., mass, coefficient of restitution) in an entirely unsupervised manner. Crucially, PPNs also generalize to novel scenarios: their gradient-based training can be applied to many dynamical systems and their graph-based structure functions over systems comprised of different numbers of objects. Our results demonstrate the efficacy of graph-based neural architectures in object-centric inference and prediction tasks, and our model has the potential to discover relevant object properties in systems that are not yet well understood.

研究动机与目标

• 激发从对象相互作用中无监督发现潜在物理属性。
• 开发基于图的感知-预测框架，联合推断属性并预测动力学。
• 演示所学习的属性对应于人类可解释的量（例如质量、恢复系数）。
• 展示对不同数量对象和未见属性范围的泛化能力。

提出的方法

• 使用感知网络从观测的动力学中提取对象特定的属性向量。
• 使用预测网络利用所学属性向量模拟未来状态。
• 使用交互网络实现两者，以处理可变对象数量和交互。
• 使用基于滚动状态预测的单一预测损失端到端训练。
• 将属性向量围绕参考对象居中以在无监督的情况下推断绝对属性。

实验结果

研究问题

• RQ1 是否可以仅通过对象动力学在完全无监督的方式发现潜在的物理属性？
• RQ2 学习到的属性向量是否对应于人类可解释的属性，如质量和恢复系数？
• RQ3 学习到的表示是否能泛化到不同数量的对象和未见的参数范围？
• RQ4 使用推断的属性，模型在未见对象配置下预测动力学的准确度如何？

主要发现

• PPN 提取的潜在属性与质量、弹簧电荷和 COR（恢复系数）相关，通过对学习到的属性向量进行主成分分析揭示。
• PPN 在预测对数质量（在弹跳球域>90%）和 COR（在非弹性球域>68%）的样本外 R^2 表现出色。
• 在不改变架构的情况下，模型对3、6和9对象的测试集具有泛化能力。
• LSTM-PPN 基线无法学习有意义的潜在属性，而 PPN 在各领域均取得成功。
• PPN 的滚动预测近似真实动力学，超过假设单位质量/电荷的完美滚 rollout 基线，以及带有真实潜在输入的 GPIN 基线。