[论文解读] Optimizing Neural Networks via Koopman Operator Theory

Akshunna S. Dogra, William T. Redman|arXiv (Cornell University)|Jun 3, 2020

Model Reduction and Neural Networks参考文献 25被引用 6

一句话总结

本文提出Koopman训练，一种通过Koopman算子理论将权重和偏置演化建模为线性动力系统的新型方法，以加速深度神经网络优化。通过采用分块矩阵计算近似Koopman算子，该方法在前馈全连接网络上实现比Adam、Adagrad和Adadelta快逾10倍的训练速度，且能对非平凡训练区间内的权重动态实现高精度预测。

ABSTRACT

Koopman operator theory, a powerful framework for discovering the underlying dynamics of nonlinear dynamical systems, was recently shown to be intimately connected with neural network training. In this work, we take the first steps in making use of this connection. As Koopman operator theory is a linear theory, a successful implementation of it in evolving network weights and biases offers the promise of accelerated training, especially in the context of deep networks, where optimization is inherently a non-convex problem. We show that Koopman operator theoretic methods allow for accurate predictions of weights and biases of feedforward, fully connected deep networks over a non-trivial range of training time. During this window, we find that our approach is >10x faster than various gradient descent based methods (e.g. Adam, Adadelta, Adagrad), in line with our complexity analysis. We end by highlighting open questions in this exciting intersection between dynamical systems and neural network theory. We highlight additional methods by which our results could be expanded to broader classes of networks and larger training intervals, which shall be the focus of future work.

研究动机与目标

• 探索Koopman算子理论与神经网络训练动态之间的联系，将权重和偏置演化视为离散动力系统。
• 开发一种计算高效的基于Koopman的训练方法，避免标准反向传播中固有的非凸优化挑战。
• 证明Koopman训练可在显著降低计算成本的前提下，对较长训练区间内的权重和偏置轨迹实现高精度预测。
• 建立理论与实证边界，界定Koopman训练相较于Adam和Adagrad等标准优化算法在速度上具备优势的条件。
• 为将基于Koopman的优化方法拓展至更广泛的神经网络类别及更长训练时长奠定基础。

提出的方法

• 将前馈全连接神经网络的训练过程建模为权重/偏置空间中的离散动力系统，其中更新由Koopman算子控制。
• 利用早期训练步骤（如MNIST的第3–5轮，DE求解器的35k–45k步）的数据近似Koopman算子，利用快照权重和偏置值。
• 实施一种新颖的Koopman算子分块策略，以降低计算复杂度，确保运行时效率与基于梯度的方法相当或更优。
• 通过线性矩阵运算直接从Koopman算子预测未来的权重和偏置状态，绕过迭代反向传播。
• 通过比较Koopman训练网络在等时区间内的性能（损失、准确率）与标准训练方法，验证预测结果。
• 定义等效训练时间指标，以公平比较加速效果，同时考虑轮次结构及随机训练中非整数收敛点的影响。

实验结果

研究问题

• RQ1 Koopman算子理论能否有效应用于建模和预测训练过程中神经网络权重和偏置的演化？
• RQ2 与标准基于梯度的优化方法相比，Koopman训练在何种条件下可实现显著的计算加速？
• RQ3 Koopman算子对不同网络架构和训练目标的权重与偏置轨迹预测精度如何？
• RQ4 Koopman算子的分块策略在保持计算效率的同时，对预测精度有何影响？
• RQ5 Koopman训练在当前实验范围之外，对其他网络类型和更长训练区间具有多大程度的泛化能力？

主要发现

• Koopman训练在神经ODE求解器和MNIST分类器中，均对非平凡训练区间内的权重和偏置演化实现了高精度预测。
• 该方法在相同任务上相比Adam、Adagrad和Adadelta实现了超过10倍的加速，计算成本低一到两个数量级。
• 分块Koopman算子近似将复杂度降低至与标准优化算法相当或更优的水平，经理论与实证复杂度分析验证。
• 对于MNIST分类器，Koopman训练网络在标准方法所需时间的10%以内，达到了Adadelta额外训练2个轮次的损失水平。
• 该方法在多种架构和优化器中表现出鲁棒性，包括带有小批量更新的随机训练，表明其具有广泛适用性。
• 单权重Koopman训练避免了全空间方法的部分技术挑战，并在处理不相关权重动态方面展现出潜力，尽管在高度去相关的情况下仍存在局限。