[论文解读] Variational optimization and data assimilation in chaotic time-delayed systems with automatic-differentiated shadowing sensitivity

Nisha Chandramoorthy, Luca Magri+1 more|arXiv (Cornell University)|Nov 16, 2020

Advanced Thermodynamics and Statistical Mechanics参考文献 81被引用 6

一句话总结

本文提出了一种增强自动微分（AD）的阴影敏感度方法，用于混沌时滞系统的变分优化与数据同化。通过用AD替代传统的切线/伴随求解器，该方法能够精确计算长时间平均泛函的梯度，在混沌动力学中实现了鲁棒的参数优化与状态估计，已在热声模型上得到验证，展现出高精度与高效率。

ABSTRACT

In this computational paper, we perform sensitivity analysis of long-time (or ensemble) averages in the chaotic regime using the shadowing algorithm. We introduce automatic differentiation to eliminate the tangent/adjoint equation solvers used in the shadowing algorithm. In a gradient-based optimization, we use the computed shadowing sensitivity to minimize different long-time averaged functionals of a chaotic time-delayed system by optimal parameter selection. In combined state and parameter estimation for data assimilation, we use the computed sensitivity to predict the optimal trajectory given information from a model and data from measurements beyond the predictability time. The algorithms are applied to a thermoacoustic model. Because the computational framework is rather general, the techniques presented in this paper may be used for sensitivity analysis of ensemble averages, parameter optimization and data assimilation of other chaotic problems, where shadowing methods are applicable.

研究动机与目标

• 为解决在混沌时滞系统中计算长时间平均泛函有意义敏感度的挑战，传统伴随法与切线法因指数不稳定性而失效。
• 开发一种基于阴影敏感度分析的通用计算框架，用于混沌系统中的变分优化与数据同化。
• 用自动微分（AD）替代阴影算法中计算成本高昂的切线与伴随方程求解器，提升效率并降低实现复杂度。
• 通过数据同化实现对混沌系统中模型参数的基于梯度的优化，以及在预测时间尺度之外的联合状态-参数估计。
• 在热声模型上展示该方法的有效性与通用性，表明其能实现精确的敏感度计算与最优参数选择。

提出的方法

• 提出一种基于AD的非侵入最小二乘阴影（NILSS）算法变体，用自动微分替代显式切线与伴随方程求解。
• 使用前向模式AD通过对方程组动力学关于状态变量扰动求导，计算切线阴影向量。
• 采用反向模式AD通过对方程组动力学关于状态变量求导，计算伴随阴影向量，实现高效梯度传播。
• 在每个时间步使用QR分解对阴影方向进行正交化，以保持阴影子空间计算的数值稳定性。
• 将AD-阴影框架集成到变分优化循环中，通过在系统参数上进行梯度下降，最小化长时间平均泛函。
• 通过计算在长时间时间范围内最小化模型预测与噪声观测之间偏差的最优轨迹，将AD-阴影敏感度适配于数据同化。

实验结果

研究问题

• RQ1 自动微分能否在混沌时滞系统的基于阴影的敏感度分析中有效替代切线与伴随求解器？
• RQ2 AD-阴影在传统伴随法发散的混沌系统中，能否精确计算长时间平均泛函的梯度？
• RQ3 AD-阴影在具有长期目标泛函的混沌时滞系统中，能在多大程度上实现有效的参数优化？
• RQ4 AD-阴影能否支持在预测时间尺度之外的混沌系统中实现鲁棒的状态与参数同化估计？
• RQ5 AD-阴影框架在其他混沌系统（尤其是具有时滞的系统）中的通用性如何？

主要发现

• AD-阴影方法成功计算了混沌时滞系统中长时间平均泛函的精确梯度，克服了传统伴随法与切线法的指数发散问题。
• 使用自动微分消除了手动推导与求解切线与伴随方程的需求，显著简化了实现过程，并减少了易错编码。
• 该方法在热声模型中实现了有效的参数优化，成功收敛至最小化长期平均热释放与压力振荡的最优参数。
• 在数据同化中，AD-阴影敏感度能够在预测时间尺度之外实现精确的联合状态与参数估计，通过最小化模型与观测数据之间的偏差。
• 该框架具有通用性与可扩展性：提供的Julia代码库支持无缝集成新的混沌ODE或映射，新模型仅需极少修改。
• AD-阴影算法通过在每个时间步对阴影方向进行基于QR的正交化，保持了数值稳定性与精度，确保在高维混沌动力系统中的鲁棒性。