[论文解读] Tensorized Transformer for Dynamical Systems Modeling

Anna Shalova, Ivan Oseledets|arXiv (Cornell University)|Jun 5, 2020

Model Reduction and Neural Networks参考文献 34被引用 4

一句话总结

该论文提出了一种张量化的Transformer解码器模型，通过将相空间离散化为网格，并利用张量-列车分解（tensor-train factorization）将参数增长从O(N^d)降低至O(dN），从而对高维动力系统进行建模。通过将动力学视为具有概率预测的序列建模问题，该方法保持了混沌系统的不变集，并在长时预测精度上优于LSTM和Deep Koopman等基线模型，尤其在细网格离散化和迭代训练下表现更优。

ABSTRACT

The identification of nonlinear dynamics from observations is essential for the alignment of the theoretical ideas and experimental data. The last, in turn, is often corrupted by the side effects and noise of different natures, so probabilistic approaches could give a more general picture of the process. At the same time, high-dimensional probabilities modeling is a challenging and data-intensive task. In this paper, we establish a parallel between the dynamical systems modeling and language modeling tasks. We propose a transformer-based model that incorporates geometrical properties of the data and provide an iterative training algorithm allowing the fine-grid approximation of the conditional probabilities of high-dimensional dynamical systems.

研究动机与目标

• 为解决高维、混沌动力系统建模的挑战，这些系统对初始条件敏感且具有有界不变集。
• 通过利用相空间中的几何结构，克服离散化概率建模连续动力学时的维度灾难问题。
• 开发一种可扩展的、可微分的模型，通过基于序列的概率学习，保持混沌系统的不变集。
• 通过逐步细化离散化网格和张量化嵌入，实现高维模型的高效训练。
• 证明条件状态转移的概率建模在混沌系统中优于直接函数逼近。

提出的方法

• 该方法将连续相空间离散化为均匀网格，将连续轨迹转换为离散序列，以支持序列建模。
• 张量编码层将嵌入矩阵分解为低秩张量-列车组件，将模型大小从O(N^d)降低至O(dN)参数。
• Transformer解码器通过多头自注意力机制，建模给定历史离散状态的下一个状态的条件概率分布。
• 分类层在各维度上进行分解，独立地对每个维度的下一个状态索引进行预测，避免指数级增长。
• 采用渐进式、迭代训练算法，通过逐步提高网格分辨率来优化模型，从粗网格开始，逐步细化。
• 通过网格单元中心将预测的索引映射回连续空间，实现连续轨迹的重建。

实验结果

研究问题

• RQ1 基于Transformer的模型能否通过离散化概率建模有效学习高维混沌动力系统的不变测度？
• RQ2 张量-列车分解如何使高维动力系统序列建模在计算上变得可行？
• RQ3 在分辨率逐步提高的网格上进行渐进式训练，是否能提升混沌系统的收敛速度和长期预测精度？
• RQ4 具有几何感知能力的因子化概率模型是否能比直接函数逼近更好地保持混沌系统的不变集？
• RQ5 该张量化Transformer在Lorenz-96和Rossler系统上的性能与标准基线模型（如LSTM和Deep Koopman模型）相比如何？

主要发现

• 在Rossler系统上，该张量化Transformer在长时预测精度上优于LSTM和Deep Koopman模型，尤其在细网格离散化下表现更优。
• 通过建模条件概率而非确定性轨迹，该模型保持了混沌系统的不变集。
• 通过逐步提高网格分辨率进行渐进式训练，使模型表示更加平滑且收敛更快，TT-嵌入组件的演化过程可证明这一点。
• 即使在粗网格离散化下，模型仍表现出可解释性和稳定性，表明对网格分辨率具有鲁棒性。
• 因子化分类层实现了在高维状态空间中的高效预测，参数量仅随O(dN)增长，而非O(N^d)。
• 该方法在Lorenz-96系统上也表现出具有竞争力的性能，证明了其在低维混沌吸引子之外的泛化能力。