[论文解读] Training neural operators to preserve invariant measures of chaotic attractors

Ruoxi Jiang, Peter Y. Lu+2 more|arXiv (Cornell University)|Jun 1, 2023

Computational Physics and Python Applications被引用 4

一句话总结

本文提出通过两种新型损失函数训练神经算子，以保持混沌吸引子的不变测度——长期动力学的关键统计特性。一种基于最优传输的损失函数需要专家对不变统计量的先验知识；另一种对比特征损失则在无需领域先验知识的情况下保持这些统计特性。该方法在高斯噪声和混沌敏感性下，显著提升了标准RMSE训练的长期统计保真度。

ABSTRACT

Chaotic systems make long-horizon forecasts difficult because small perturbations in initial conditions cause trajectories to diverge at an exponential rate. In this setting, neural operators trained to minimize squared error losses, while capable of accurate short-term forecasts, often fail to reproduce statistical or structural properties of the dynamics over longer time horizons and can yield degenerate results. In this paper, we propose an alternative framework designed to preserve invariant measures of chaotic attractors that characterize the time-invariant statistical properties of the dynamics. Specifically, in the multi-environment setting (where each sample trajectory is governed by slightly different dynamics), we consider two novel approaches to training with noisy data. First, we propose a loss based on the optimal transport distance between the observed dynamics and the neural operator outputs. This approach requires expert knowledge of the underlying physics to determine what statistical features should be included in the optimal transport loss. Second, we show that a contrastive learning framework, which does not require any specialized prior knowledge, can preserve statistical properties of the dynamics nearly as well as the optimal transport approach. On a variety of chaotic systems, our method is shown empirically to preserve invariant measures of chaotic attractors.

研究动机与目标

• 解决标准RMSE训练在保持混沌动力系统长期统计特性方面的失败问题。
• 开发一种训练框架，即使在初始条件敏感性和测量噪声下，也能保持混沌吸引子的不变测度。
• 提出一种对比学习方法，无需专家对不变测度的先验知识，即可保持统计特性。
• 将短时域RMSE损失与长时域统计保真损失相结合，以提升多环境设置下的泛化能力。
• 在不同噪声水平下，通过实验验证该方法在混沌PDE（如Kuramoto–Sivashinsky方程）上的有效性。

提出的方法

• 引入基于Sinkhorn散度的最优传输损失，通过匹配模型输出与数据之间摘要统计量的分布，确保不变测度的保持。
• 提出一种对比特征损失，学习不变表示，而无需事先了解底层不变测度。
• 将统计保真损失与标准短时域RMSE损失结合，以保持短期预测精度。
• 使用超参数$λ$平衡RMSE与特征损失之间的权衡，通过网格搜索选择$λ=0.8$，使特征损失最小化，同时将RMSE控制在基线的110%以内。
• 采用多环境训练设置，每条轨迹在略有不同的参数下演化，以增强在多样化系统配置下的泛化能力。
• 在Kuramoto–Sivashinsky PDE上验证该方法，初始条件为随机，噪声水平为$r = 0.1, 0.2, 0.3$，采用四阶龙格-库塔时间积分。

(a) Error metrics vs. noise scale $r$ .

实验结果

研究问题

• RQ1 在存在噪声和混沌敏感性的情况下，基于最优传输损失训练的神经算子能否保持混沌吸引子的不变测度？
• RQ2 无需专家对不变测度的先验知识，对比学习框架能否保持混沌系统长期统计特性？
• RQ3 结合RMSE损失与统计保真损失如何影响短期预测精度与长期统计保真度之间的权衡？
• RQ4 不同噪声水平如何影响标准RMSE训练与所提统计保真方法的性能？
• RQ5 多环境训练设置是否能提升混沌系统中多样化动力学实现的泛化能力？

主要发现

• 尽管未事先了解系统的统计结构，对比特征损失在保持不变测度方面几乎与专家指导的最优传输损失相当。
• 在噪声水平$r=0.3$时，仅使用RMSE的基线模型性能显著下降，表现为预测动力学中负值减少、高频信号捕捉能力差，能量谱图显示明显偏差。
• 当$λ=0.8$时，联合损失模型实现了最低的特征损失，同时将RMSE控制在RMSE单一基线的110%以内，表明在预测精度与统计保真度之间实现了有利权衡。
• 可视化结果表明，两种所提方法均能产生与真实系统统计一致的动力学，尤其在高斯噪声下表现更优，而仅使用RMSE的模型在统计行为上发生偏离。
• 随着$λ$增大，最优传输与对比损失有效降低了未见的统计误差（通过不变统计量衡量），在$λ=0.8$时达到峰值，之后收益递减。
• 该方法成功保持了多个混沌系统的时间不变统计特性，展现出在高斯噪声和混沌敏感性下的鲁棒性。

Figure 2 : Our proposed approaches for training neural operators. (a) Neural operators are emulators trained to take an initial state and output future states in a recurrent fashion. To ensure the neural operator respects the statistical properties of chaotic dynamics when trained on noisy data, we