[论文解读] Predictive Neural Networks

Frieder Stolzenburg, Olivia Michael+1 more|arXiv (Cornell University)|Feb 9, 2018

Model Reduction and Neural Networks参考文献 56被引用 5

一句话总结

本文提出基于线性激活循环网络的预测神经网络，通过求解线性方程组来近似时变函数，从而消除反向传播的需要。该方法同时学习权重与网络结构，在多重叠加振荡器和机器人足球任务上实现最先进性能，且参数量极少。

ABSTRACT

Recurrent neural networks are a powerful means to cope with time series. We show that already linearly activated recurrent neural networks can approximate any time-dependent function f(t) given by a number of function values. The approximation can effectively be learned by simply solving a linear equation system; no backpropagation or similar methods are needed. Furthermore the network size can be reduced by taking only the most relevant components of the network. Thus, in contrast to others, our approach not only learns network weights but also the network architecture. The networks have interesting properties: In the stationary case they end up in ellipse trajectories in the long run, and they allow the prediction of further values and compact representations of functions. We demonstrate this by several experiments, among them multiple superimposed oscillators (MSO) and robotic soccer. Predictive neural networks outperform the previous state-of-the-art for the MSO task with a minimal number of units.

研究动机与目标

• 开发一种使用具有线性激活的循环神经网络来近似任意时变函数 f(t) 的方法。
• 通过将网络训练表述为线性系统求解，消除反向传播的需要。
• 通过仅选择最具相关性的组件，实现网络权重与结构的联合学习。
• 在多重叠加振荡器和机器人足球等复杂时间序列任务上，证明该方法的有效性。
• 展示网络表现出稳定、可预测的动力学行为（如在稳态情况下呈现椭圆轨迹），从而实现紧凑的函数表示。

提出的方法

• 网络使用线性激活的循环单元来建模时间序列，使权重学习问题可解析求解。
• 通过求解基于观测函数值推导出的线性方程组来学习网络权重，避免使用反向传播。
• 通过基于其对函数近似的贡献度，选择最具相关性的组件，对网络结构进行剪枝。
• 该方法利用线性循环网络固有的稳定性，其在稳态状态下收敛至椭圆轨迹。
• 通过将学习到的动力学外推至观测时间点之外，实现函数预测。
• 从简化后的网络结构中推导出紧凑的函数表示，同时保持预测准确性。

实验结果

研究问题

• RQ1 给定离散观测值，线性激活的循环网络能否近似任意时变函数 f(t)？
• RQ2 是否可以通过求解线性系统实现此类网络的训练，而无需反向传播？
• RQ3 能否自动剪枝网络结构，仅保留最相关的组件？
• RQ4 这些网络在长期运行中是否表现出稳定、可预测的动力学行为，如椭圆轨迹？
• RQ5 该方法能否在多重叠加振荡器（MSO）和机器人足球等复杂时间序列任务上超越现有最先进方法？

主要发现

• 给定有限组函数值，线性激活的循环网络能够近似任意时变函数 f(t)。
• 通过求解线性方程组实现训练，使反向传播不再必要，显著降低训练复杂度。
• 该方法实现了网络权重与结构的联合学习，得到参数量极少但预测精度高的网络。
• 在稳态情况下，网络动力学收敛至稳定的椭圆轨迹，表明系统具有内在稳定性。
• 该方法在多重叠加振荡器（MSO）任务上实现了最先进性能，且使用的单元数少于先前方法。
• 网络能够准确预测未来函数值，并支持时间序列函数的紧凑且有意义的表示。