[论文解读] When Recurrent Models Don't Need To Be Recurrent.

J. J. Miller, Moritz Hardt|arXiv (Cornell University)|May 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 6被引用 29

一句话总结

本文表明，在推理和梯度下降训练过程中，稳定的循环神经网络可被前馈网络有效近似。在自然稳定性条件下，理论与实证结果表明，循环模型并非序列学习所固有的必要条件，从而挑战了传统对循环结构的依赖。

ABSTRACT

We prove stable recurrent neural networks are well approximated by feed-forward networks for the purpose of both inference and training by gradient descent. Our result applies to a broad range of non-linear recurrent neural networks under a natural stability condition, which we observe is also necessary. Complementing our theoretical findings, we verify the conclusions of our theory on both real and synthetic tasks. Furthermore, we demonstrate recurrent models satisfying the stability assumption of our theory can have excellent performance on real sequence learning tasks.

研究动机与目标

• 研究稳定的循环神经网络是否可被前馈网络有效替代。
• 识别循环结构在序列建模中非必要的条件。
• 为用前馈架构近似循环动态建立理论基础。
• 在合成数据和真实世界序列学习任务上对理论进行实证验证。

提出的方法

• 理论分析聚焦于满足稳定性条件的循环神经网络，确保动态行为有界。
• 本文证明，稳定的RNN可被宽度相当的前馈网络一致近似。
• 该近似在推理和通过梯度下降训练过程中均成立。
• 稳定性条件被形式化为循环转移函数的Lipschitz约束。
• 在合成任务和真实序列学习基准上开展实证验证。
• 对稳定RNN与其前馈近似版本的性能进行比较。

实验结果

研究问题

• RQ1 在何种条件下，前馈网络可在不造成显著性能损失的情况下近似循环网络？
• RQ2 稳定性条件是否对循环与前馈模型之间的等价性既充分又必要？
• RQ3 稳定的RNN是否可在不依赖循环结构的情况下在真实序列学习任务上实现优异性能？
• RQ4 在通过梯度下降训练时，前馈网络对稳定RNN动态的近似效果如何？
• RQ5 该理论近似在多样化的序列学习场景中是否具有实际有效性？

主要发现

• 稳定的循环神经网络可被宽度相近的前馈网络一致近似。
• 稳定性条件对近似成立而言既充分又必要。
• 实证结果证实，前馈网络在合成与真实序列任务上的性能与稳定RNN相当。
• 通过梯度下降的训练过程在前馈近似中得以保持，优化动力学特性得以保留。
• 满足稳定性假设的循环模型可实现优异性能，表明循环结构并非序列学习所固有必需。