[论文解读] Noether Networks: Meta-Learning Useful Conserved Quantities

Ferran Alet, Dylan Doblar+4 more|arXiv (Cornell University)|Dec 6, 2021

Time Series Analysis and Forecasting参考文献 27被引用 6

一句话总结

本文提出Noether Networks，一种元学习框架，通过在序列预测任务中发现并强制执行守恒量作为归纳偏置。通过在预测函数内元学习优化守恒损失，该模型提升了泛化能力和预测质量，尤其在长时序视频预测中表现优异，同时能从原始数据中恢复已知的物理守恒定律。

ABSTRACT

Progress in machine learning (ML) stems from a combination of data availability, computational resources, and an appropriate encoding of inductive biases. Useful biases often exploit symmetries in the prediction problem, such as convolutional networks relying on translation equivariance. Automatically discovering these useful symmetries holds the potential to greatly improve the performance of ML systems, but still remains a challenge. In this work, we focus on sequential prediction problems and take inspiration from Noether's theorem to reduce the problem of finding inductive biases to meta-learning useful conserved quantities. We propose Noether Networks: a new type of architecture where a meta-learned conservation loss is optimized inside the prediction function. We show, theoretically and experimentally, that Noether Networks improve prediction quality, providing a general framework for discovering inductive biases in sequential problems.

研究动机与目标

• 为解决在序列机器学习任务中自动发现有用归纳偏置的挑战。
• 通过将对称性转化为可观测的守恒量，利用诺特定理实现元学习。
• 通过在推理过程中强制执行学习到的守恒定律，提升序列模型的泛化能力和预测质量。
• 提供一种通用框架，用于发现归纳偏置，而无需硬编码对称性或预先知晓物理定律。
• 证明守恒量可作为有效正则化器，将预测约束在低维流形上。

提出的方法

• 提出一种神经架构，其中元学习的守恒损失在训练和推理过程中均在预测函数内部进行优化。
• 将守恒损失参数化为 $\mathcal{L}(x_0, \tilde{x}_{1:T}; g_\phi) = \sum_{t=1}^T |g_\phi(x_0) - g_\phi(\tilde{x}_t)|^2$，以确保 $g_\phi$ 在时间步上保持不变。
• 使用微调框架在推理时对模型进行微调，以消除归纳偏置的泛化差距。
• 通过自监督目标元学习嵌入 $g_\phi$，以促进其对未见扰动的不变性。
• 将该方法应用于符号化物理系统和原始像素视频数据，实现从非结构化输入中发现守恒量。
• 使用维度估计和蒙特卡洛采样，从数据中预测守恒量的数量。

实验结果

研究问题

• RQ1 元学习的守恒量能否作为序列预测模型的有效归纳偏置？
• RQ2 Noether Networks 能否在不依赖先验知识的情况下，从未知原始数据中恢复已知的物理守恒定律（如动量、能量）？
• RQ3 在视频预测中强制执行学习到的守恒定律是否能提升泛化能力，尤其是在长时序序列中？
• RQ4 与标准训练中使用辅助损失相比，推理过程中守恒损失的内部优化如何影响模型性能？
• RQ5 从数据中发现的守恒量在多大程度上能提升真实世界视频数据集中的预测质量？

主要发现

• Noether Networks 仅利用网络内部表示，成功从未知物理模拟数据中恢复了已知守恒定律，如线性动量和能量。
• 在视频预测基准测试中，与无守恒约束的基线模型相比，Noether Networks 在预测质量上实现了适度但一致的提升，尤其在长时序预测中表现更优。
• 理论分析表明，强制执行守恒定律可作为有效正则化器，将预测约束在低维流形上，从而减少泛化误差。
• 该方法通过在推理时现场微调守恒损失，消除了标准辅助损失训练中的泛化差距，表现优于后者。
• 该框架可推广至原始像素输入，实现无需轨迹分割或系统动力学先验知识的守恒量发现。
• 该方法在仅依赖观测数据的情况下，展示了在复杂动力系统中识别守恒量以促进科学发现的潜力。