[论文解读] Updates of Equilibrium Prop Match Gradients of Backprop Through Time in an RNN with Static Input

Maxence Ernoult, Julie Grollier+3 more|arXiv (Cornell University)|May 31, 2019

Neural Networks and Applications被引用 8

一句话总结

该论文提出了一种离散时间的平衡传播（Equilibrium Propagation, EP）形式，当RNN的转移函数源自一个原函数且稳态被维持时，该形式在特定条件下可实现与通过时间反向传播（Backpropagation Through Time, BPTT）完全一致的梯度匹配。实验表明，EP能够以与BPTT相当的性能训练全连接网络和卷积网络，在MNIST数据集上实现了约1%的测试误差，为迄今EP方法报告的最低误差。

ABSTRACT

Equilibrium Propagation (EP) is a biologically inspired learning algorithm for convergent recurrent neural networks, i.e. RNNs that are fed by a static input x and settle to a steady state. Training convergent RNNs consists in adjusting the weights until the steady state of output neurons coincides with a target y. Convergent RNNs can also be trained with the more conventional Backpropagation Through Time (BPTT) algorithm. In its original formulation EP was described in the case of real-time neuronal dynamics, which is computationally costly. In this work, we introduce a discrete-time version of EP with simplified equations and with reduced simulation time, bringing EP closer to practical machine learning tasks. We first prove theoretically, as well as numerically that the neural and weight updates of EP, computed by forward-time dynamics, are step-by-step equal to the ones obtained by BPTT, with gradients computed backward in time. The equality is strict when the transition function of the dynamics derives from a primitive function and the steady state is maintained long enough. We then show for more standard discrete-time neural network dynamics that the same property is approximately respected and we subsequently demonstrate training with EP with equivalent performance to BPTT. In particular, we define the first convolutional architecture trained with EP achieving ~ 1% test error on MNIST, which is the lowest error reported with EP. These results can guide the development of deep neural networks trained with EP.

研究动机与目标

• 开发一种计算高效的离散时间版本的平衡传播（EP），以适用于实际机器学习任务。
• 从理论上和数值上证明，当RNN的转移函数源自原函数且稳态持续时间足够长时，EP更新与BPTT梯度完全一致。
• 将EP扩展至标准神经网络架构，包括卷积网络，实现与BPTT相当的性能。
• 将EP的模拟时间减少3至5倍，从而实现更大规模的训练。
• 在MNIST上实现迄今EP方法报告的最低测试误差，验证其在深度学习中的潜力。

提出的方法

• 提出EP的离散时间形式，用基于梯度类更新的迭代更新规则替代连续时间动力学。
• 引入两阶段过程：第一阶段在输入x下计算稳态激活；第二阶段引入扰动（弹性力）以计算权重更新。
• 将EP中的权重更新表示为修改后能量函数梯度之差，类似于BPTT中的反向传播梯度。
• 在梯度下降更新（GDU）条件下，建立EP前向时间神经更新与BPTT反向时间梯度之间的逐步对应关系。
• 采用原函数以确保转移函数满足GDU性质，从而实现精确的梯度匹配。
• 在全连接和卷积架构上应用该方法，使用标准激活函数和超参数，通过基于能量和原型设置的方法稳定训练。

实验结果

研究问题

• RQ1 在何种条件下，平衡传播（EP）产生的权重更新与通过时间反向传播（BPTT）完全相同？
• RQ2 EP的离散时间形式在理论上和实践中能否与BPTT的梯度完全匹配？
• RQ3 在标准非理想神经网络动力学中，GDU性质在多大程度上成立？
• RQ4 EP能否成功应用于训练深度和卷积神经网络，并实现与BPTT相当的性能？
• RQ5 能否在不牺牲学习精度的前提下，显著减少EP的模拟时间？

主要发现

• 理论分析证明，当RNN的转移函数源自原函数且稳态维持足够长时间时，EP更新与BPTT梯度完全一致。
• 数值实验验证了在理想化设置中GDU性质完全成立，在标准原型网络中近似成立。
• 离散时间EP形式将模拟时间减少了3至5倍，从而支持更大规模的训练。
• EP成功在MNIST上训练了卷积神经网络，实现了约1%的测试误差，为迄今EP方法报告的最低误差。
• 在基于能量和原型设置的全连接架构中，EP在单隐藏层至三隐藏层网络上的性能与BPTT相当。
• 该方法表明，EP可扩展至标准深度学习架构，为反向传播提供一种生物可解释且能效更高的替代方案。