[论文解读] Unsupervised Reservoir Computing for Solving Ordinary Differential Equations

Marios Mattheakis, Hayden Joy+1 more|arXiv (Cornell University)|Aug 25, 2021

Neural Networks and Reservoir Computing参考文献 45被引用 4

一句话总结

本文提出了一种无监督的储层计算（RC）框架，用于使用具有固定内部权重的循环神经网络和可训练的线性输出层来求解常微分方程（ODEs）。该方法提出了一种无需反向传播的方法来计算RC输出的时间导数，并结合贝叶斯优化与梯度下降，高效地调整超参数，从而在各种初始条件和时间范围内，对线性和非线性ODE均实现了鲁棒的求解结果。

ABSTRACT

There is a wave of interest in using unsupervised neural networks for solving differential equations. The existing methods are based on feed-forward networks, {while} recurrent neural network differential equation solvers have not yet been reported. We introduce an unsupervised reservoir computing (RC), an echo-state recurrent neural network capable of discovering approximate solutions that satisfy ordinary differential equations (ODEs). We suggest an approach to calculate time derivatives of recurrent neural network outputs without using backpropagation. The internal weights of an RC are fixed, while only a linear output layer is trained, yielding efficient training. However, RC performance strongly depends on finding the optimal hyper-parameters, which is a computationally expensive process. We use Bayesian optimization to efficiently discover optimal sets in a high-dimensional hyper-parameter space and numerically show that one set is robust and can be used to solve an ODE for different initial conditions and time ranges. A closed-form formula for the optimal output weights is derived to solve first order linear equations in a backpropagation-free learning process. We extend the RC approach by solving nonlinear system of ODEs using a hybrid optimization method consisting of gradient descent and Bayesian optimization. Evaluation of linear and nonlinear systems of equations demonstrates the efficiency of the RC ODE solver.

研究动机与目标

• 解决尽管前馈网络已取得成功，但循环神经网络（RNN）在无监督ODE求解方面仍显不足的问题。
• 开发一种储层计算（RC）框架，利用回声状态特性与固定内部权重，实现ODE求解的快速且稳定的训练。
• 克服在无反向传播的情况下计算RNN输出时间导数的挑战，这是物理信息神经求解器的关键需求。
• 设计一种混合优化策略，结合梯度下降与贝叶斯优化（TURBO-1），以高效搜索高维超参数空间。
• 证明单一最优超参数集合可在不同初始条件和时间区间上对ODE实现泛化。

提出的方法

• 使用具有随机初始化且固定内部权重的回声状态储层网络，其权重分布确保回声状态特性。
• 提出一种连续时间近似方法，无需反向传播即可计算RC输出的时间导数，从而支持物理信息损失函数用于ODE求解。
• 为一阶线性非自治ODE推导输出权重的闭式解，从而消除对反向传播的需求。
• 应用混合优化流程：使用贝叶斯优化（TURBO-1）探索超参数空间，再利用梯度下降对非线性系统微调输出权重。
• 在rcTorch中实现该框架，该框架基于PyTorch并内嵌贝叶斯优化，支持高效训练与超参数调优。
• 使用均匀分布的时间输入$ t $训练RC，目前仅限于ODE求解，尚未扩展至PDE，但未来可推广至多变量输入。

实验结果

研究问题

• RQ1 储层计算能否被适配为一种无需时间反向传播的无监督ODE求解器？
• RQ2 是否可能以可微分且无需反向传播的方式计算循环网络输出的时间导数，以适用于物理信息损失函数？
• RQ3 通过贝叶斯优化训练的单一超参数集合是否可在不同初始条件和时间区间上对ODE实现泛化？
• RQ4 所提出的混合优化方法（贝叶斯优化+梯度下降）是否能有效且高效地找到非线性ODE系统最优的超参数与权重？
• RQ5 能否推导出线性ODE中输出权重的闭式解并用于消除迭代训练，从而提升计算效率？

主要发现

• 所提出的无监督储层计算框架成功实现了对线性和非线性ODE系统的求解，且训练过程无需反向传播。
• 为一阶线性非自治ODE推导出输出权重的闭式公式，实现了无需优化的精确求解。
• 结合TURBO-1的贝叶斯优化高效地探索了高维超参数空间，识别出在多种初始条件和时间范围上均表现稳健的超参数集合。
• 同一组最优超参数配置在不同时间区间和不同初始条件下均有效，表现出强大的泛化能力。
• 训练计算效率高，RC框架在速度和能效方面展现出超越传统前馈神经网络求解器的潜力。
• 该方法可扩展至偏微分方程和特征值问题，且由于其低功耗与高速特性，具有在神经形态硬件中实现的强潜力。