[论文解读] Tensor network approaches for learning non-linear dynamical laws

Alex Goeßmann, Michael Götte+4 more|arXiv (Cornell University)|Feb 27, 2020

Model Reduction and Neural Networks参考文献 25被引用 11

一句话总结

本文提出一种基于张量网络的方法，从数据中学习非线性动力学规律，利用低秩张量列车（TT）和选择张量参数化方式，强制实施局域性和可扩展性等物理约束。该方法引入一种自适应秩优化算法（SALSA），可自动确定最优张量秩，从而在无需预先了解结构或复杂度的情况下，高效且可解释地恢复高维系统中的控制方程。

ABSTRACT

Given observations of a physical system, identifying the underlying non-linear governing equation is a fundamental task, necessary both for gaining understanding and generating deterministic future predictions. Of most practical relevance are automated approaches to theory building that scale efficiently for complex systems with many degrees of freedom. To date, available scalable methods aim at a data-driven interpolation, without exploiting or offering insight into fundamental underlying physical principles, such as locality of interactions. In this work, we show that various physical constraints can be captured via tensor network based parameterizations for the governing equation, which naturally ensures scalability. In addition to providing analytic results motivating the use of such models for realistic physical systems, we demonstrate that efficient rank-adaptive optimization algorithms can be used to learn optimal tensor network models without requiring a~priori knowledge of the exact tensor ranks. As such, we provide a physics-informed approach to recovering structured dynamical laws from data, which adaptively balances the need for expressivity and scalability.

研究动机与目标

• 解决从观测数据中发现高维物理系统可解释的非线性控制方程的挑战。
• 通过利用张量网络参数化方式，克服传统方法（如SINDy和符号回归）在高维情况下的维度灾难问题。
• 开发一种可扩展的、物理信息驱动的机器学习框架，尊重局域性和相互作用稀疏性等物理约束。
• 在优化过程中实现自动、自适应的秩选择，以平衡模型表达能力与计算效率。
• 提供一种数据驱动的方法，恢复结构化、可解释的动力学规律，而非单纯的插值。

提出的方法

• 使用张量列车（TT）或选择张量格式将控制方程参数化为张量网络，以编码局域性和稀疏性等物理约束。
• 采用稳定交替最小二乘法（SALSA）进行自适应秩优化，动态调整训练过程中的张量秩。
• 使用堆栈（stacks）高效计算梯度并求解优化过程中的局部线性系统，实现内存与计算成本的平衡。
• 通过一元基函数字典表示函数空间，完整多变量函数通过低秩张量收缩编码。
• 通过自适应阈值（ε）和权重衰减（ω）实现稀疏性促进正则化，以控制模型复杂度并避免过拟合。
• 采用残差最小化目标函数 ‖Φθ − y‖_F 进行模型训练，每次迭代对每个张量核心进行更新。

实验结果

研究问题

• RQ1 张量网络参数化是否能有效编码高维动力系统中的局域性和稀疏性等物理约束？
• RQ2 如SALSA这样的自适应秩优化算法能否在无先验知识的情况下自动确定最优张量秩？
• RQ3 所提出的方法是否能高效扩展至具有大量自由度的系统，避免维度灾难？
• RQ4 与标准SINDy或符号回归相比，该方法在恢复可解释、结构化的动力学规律方面表现如何？
• RQ5 该方法在噪声数据或数据有限的情况下是否仍能保持可解释性和准确性？

主要发现

• 选择张量格式可实现有界的张量秩，从而在维度增加时保持有利的缩放特性，而单个TT格式在高维时缩放性能差。
• SALSA算法在训练过程中成功学习到最优张量秩，对于单个TT格式，秩随变量数d线性增长。
• 该方法即使在高维系统中也能准确恢复非线性动力学规律，已在基准示例中得到验证。
• 使用堆栈可降低计算成本，并实现高效的梯度计算，使大规模问题的优化成为可能。
• 该方法在可扩展性和可解释性方面优于标准SINDy和符号回归，尤其适用于具有大量自由度的系统。
• 残差 R(θ) 在优化过程中单调下降，自适应阈值策略（ε_new = s_min * R(θ)）可实现稳定收敛。