[论文解读] Perceiving Physical Equation by Observing Visual Scenarios

Siyu Huang, Zhi-Qi Cheng+4 more|arXiv (Cornell University)|Nov 29, 2018

Model Reduction and Neural Networks参考文献 31被引用 6

一句话总结

本文提出了一种新颖的流程，通过结合观测器引擎（Observer Engine）提取物体动力学特征与物理学家引擎（Physicist Engine）利用符号回归推导符号方程，从视觉视频中推断可解释的物理方程。该方法在多种合成物理场景中对重力加速度和弹簧动力学等方程的发现实现了近乎完美的准确度（R² = 1.000）。

ABSTRACT

Inferring universal laws of the environment is an important ability of human intelligence as well as a symbol of general AI. In this paper, we take a step toward this goal such that we introduce a new challenging problem of inferring invariant physical equation from visual scenarios. For instance, teaching a machine to automatically derive the gravitational acceleration formula by watching a free-falling object. To tackle this challenge, we present a novel pipeline comprised of an Observer Engine and a Physicist Engine by respectively imitating the actions of an observer and a physicist in the real world. Generally, the Observer Engine watches the visual scenarios and then extracting the physical properties of objects. The Physicist Engine analyses these data and then summarizing the inherent laws of object dynamics. Specifically, the learned laws are expressed by mathematical equations such that they are more interpretable than the results given by common probabilistic models. Experiments on synthetic videos have shown that our pipeline is able to discover physical equations on various physical worlds with different visual appearances.

研究动机与目标

• 为解决从视觉观测中自动发现普遍物理定律的挑战，这是通用人工智能与科学推理的关键目标。
• 开发一种推导显式符号方程的方法，而非依赖黑箱神经网络。
• 使机器能够从视觉视频序列中感知并重构物理定律，如重力加速度或弹簧动力学。
• 构建一个结合深度学习、符号学习与进化算法的混合框架，实现可解释的物理推理。
• 为未来在视觉数据中可解释物理方程发现领域的研究建立基线。

提出的方法

• 观测器引擎使用目标检测与实例分割技术，从视频帧中提取物理属性（位置、速度、加速度）。
• 两阶段目标检测器提升了在复杂视觉场景中追踪物体动力学的准确性。
• 物理学家引擎采用符号回归技术，发现最符合观测物理属性的数学表达式。
• 符号回归用于学习涉及乘法与除法等运算的可解释方程，这些是线性模型无法捕捉的。
• 通过与基线模型（线性回归、岭回归、决策树、随机森林）的比较，评估性能表现。
• 使用R²与MAPA指标在多种具有不同视觉外观的合成物理场景中对流程进行评估。

实验结果

研究问题

• RQ1 机器是否能无需预先了解底层物理知识，仅从视觉视频序列中自动推断出符号化的物理方程？
• RQ2 与传统回归模型相比，符号回归在从视觉数据中学习可解释物理定律方面效果如何？
• RQ3 观测器引擎的物体追踪质量在多大程度上影响所推导物理方程的准确性？
• RQ4 所提出的流程是否能在具有不同视觉外观与动力学特性的多样化物理场景中实现泛化？
• RQ5 观测器引擎与物理学家引擎组件的不同组合在多大程度上影响最终的方程发现性能？

主要发现

• 当使用两阶段检测器与符号回归时，所提流程在所有测试场景中均实现了R²得分为1.000，表明对真实物理方程实现了完美恢复。
• 符号回归在所有场景中均优于所有基线模型（线性、岭回归、决策树、随机森林），尤其在弹簧运动等非线性关系中表现突出。
• 在Drift与Spring等场景中，非线性模型（决策树、随机森林）显著优于线性模型，凸显了对非线性方程发现的需求。
• 观测器引擎的性能直接影响方程的准确性，其中两阶段检测器在所有测试案例中均取得了最佳结果。
• 该方法成功仅从视觉观测中推导出重力加速度公式与弹簧力定律等方程。
• 即使在使用估计物体位置的情况下，流程仍实现了高准确度（R² > 0.98），证明了其对追踪误差的鲁棒性。