[论文解读] Visual Physics: Discovering Physical Laws from Videos

Pradyumna Chari, Chinmay Talegaonkar+2 more|arXiv (Cornell University)|Nov 27, 2019

Data Visualization and Analytics参考文献 50被引用 5

一句话总结

该论文提出了一种新颖的框架，通过结合改进的 β-VAE 的解耦表征学习与遗传编程的符号方程发现，从视频流中同时发现物理定律和控制参数（例如速度、角频率）。该方法即使在高噪声和数据有限的情况下，也能实现符号上准确的真值方程恢复和可解释的物理参数。

ABSTRACT

In this paper, we teach a machine to discover the laws of physics from video streams. We assume no prior knowledge of physics, beyond a temporal stream of bounding boxes. The problem is very difficult because a machine must learn not only a governing equation (e.g. projectile motion) but also the existence of governing parameters (e.g. velocities). We evaluate our ability to discover physical laws on videos of elementary physical phenomena, such as projectile motion or circular motion. These elementary tasks have textbook governing equations and enable ground truth verification of our approach.

研究动机与目标

• 开发一种无需先验物理知识的机器学习框架，从原始视频中发现物理定律。
• 从视觉数据中联合发现运动的控制方程和潜在的物理参数（例如速度）。
• 通过表征学习与符号回归，从视频流中构建可解释且符号准确的物理模型。
• 在噪声和不同数据规模下评估方法的鲁棒性，证明其在真实世界条件下的泛化能力。

提出的方法

• 采用改进的 β-VAE 从视频帧中学习解耦且具有物理可解释性的潜在表征。
• 潜在表征基于物体边界框的时间序列推导得出，无需真实状态标签。
• 遗传编程在潜在空间上执行符号回归，以发现与真值物理定律匹配的方程。
• 采用方程复杂度与预测精度之间的帕累托最优权衡，以避免过拟合并确保可解释性。
• 该框架在合成和真实视频上进行训练与评估，涵盖抛体运动、圆周运动等基本物理现象。
• 发布 Visual Physics 数据集——包含真实与合成的动态物理系统视频——以支持未来研究。

实验结果

研究问题

• RQ1 机器能否在不依赖物理先验知识的情况下，从原始视频中发现正确的运动符号方程？
• RQ2 该方法能否同时从视觉输入中发现控制方程和潜在的物理参数（例如速度）？
• RQ3 该方法在位置噪声和有限训练数据下的鲁棒性如何？
• RQ4 所学习的潜在表征在多大程度上具有物理可解释性，并与人类定义的物理概念对齐？
• RQ5 该框架能否泛化到真实世界视频数据，并恢复已知的物理定律？

主要发现

• 该方法成功恢复了如抛体运动和自由落体等物理定律的符号准确方程，与真值一致。
• 即使仅有 200 个训练样本，所发现的潜在表征与真值物理参数（例如速度）的相关性仍达到 0.95。
• 在不同数据规模下，该框架保持了高轨迹预测精度（均方误差低），且随着数据增加性能持续提升。
• 该方法对大量位置噪声具有鲁棒性，同时保持了学习参数的可解释性。
• 方程复杂度与精度之间的帕累托最优权衡有效防止了过拟合，并确保了符号可解释性。
• Visual Physics 数据集支持可复现的评估，并推动未来基于视频的物理定律发现研究。