[论文解读] State-Denoised Recurrent Neural Networks

Michael C. Mozer, Denis Kazakov+1 more|arXiv (Cornell University)|May 22, 2018

Neural Networks and Applications参考文献 26被引用 3

一句话总结

本文提出状态去噪循环神经网络（SDRNN），通过在去噪自编码器设置中利用吸引子动力学，稳定序列处理过程中的隐藏表示。通过训练辅助损失以从噪声隐藏状态中重建干净隐藏状态，SDRNN 提升了模型的鲁棒性和泛化能力，在多个序列任务上优于标准 RNN 及未采用去噪目标的变体。

ABSTRACT

Recurrent neural networks (RNNs) are difficult to train on sequence processing tasks, not only because input noise may be amplified through feedback, but also because any inaccuracy in the weights has similar consequences as input noise. We describe a method for denoising the hidden state during training to achieve more robust representations thereby improving generalization performance. Attractor dynamics are incorporated into the hidden state to `clean up' representations at each step of a sequence. The attractor dynamics are trained through an auxillary denoising loss to recover previously experienced hidden states from noisy versions of those states. This state-denoised recurrent neural network {SDRNN} performs multiple steps of internal processing for each external sequence step. On a range of tasks, we show that the SDRNN outperforms a generic RNN as well as a variant of the SDRNN with attractor dynamics on the hidden state but without the auxillary loss. We argue that attractor dynamics---and corresponding connectivity constraints---are an essential component of the deep learning arsenal and should be invoked not only for recurrent networks but also for improving deep feedforward nets and intertask transfer.

研究动机与目标

• 解决循环神经网络中内部噪声的问题，其中权重不准确性和隐藏状态扰动会随时间累积放大。
• 通过使隐藏表示对噪声更具鲁棒性，提升序列处理中的泛化性能。
• 探究结合去噪目标的吸引子动力学是否能够稳定内部表示并提升模型性能。
• 研究吸引子网络不仅在 RNN 中，也在前馈网络和迁移学习中的实用性。
• 证明通过吸引子动力学抑制内部噪声可带来更优性能，尤其在低数据设置下。

提出的方法

• SDRNN 架构引入一个独立的吸引子网络，处理 RNN 的隐藏状态，利用吸引子动力学实现去噪。
• 吸引子网络通过辅助去噪损失进行训练，以从受损版本中重建干净隐藏状态。
• 吸引子动力学由对称权重和有界、连续、严格递增的非线性函数（如 tanh）控制，确保收敛至固定点或极限环。
• 每个外部序列步骤包含多次吸引子网络的内部更新，直至收敛，从而实现隐藏状态的迭代优化。
• 主 RNN 与辅助去噪目标联合训练，使系统能够学习到鲁棒、抗噪声的表示。
• 该方法利用李雅普诺夫能量函数，确保吸引子动力学的稳定性和收敛性。

实验结果

研究问题

• RQ1 在独立子网络中使用吸引子动力学是否能提升 RNN 隐藏状态对内部噪声的鲁棒性？
• RQ2 在隐藏状态上训练辅助去噪目标是否能提升序列处理任务中的泛化性能？
• RQ3 SDRNN 与标准 RNN 及缺乏去噪损失的 SDRNN 变体相比表现如何？
• RQ4 吸引子动力学是否能在数据受限的学习场景中提升性能？
• RQ5 基于吸引子的去噪方法在前馈网络和迁移学习中的通用性如何？

主要发现

• SDRNN 在一系列序列处理任务中优于标准 RNN，展现出更强的泛化能力。
• 采用吸引子动力学与去噪损失的 SDRNN 显著优于仅包含吸引子动力学但缺乏辅助去噪目标的变体。
• 该方法在数据受限设置下表现出显著的性能提升，表明样本效率更高。
• 吸引子动力学有效稳定了隐藏表示，降低了内部噪声和权重不准确性的影响。
• 该方法具有通用性，可应用于前馈网络，潜在应用包括图像去噪、超分辨率和着色。
• 结果支持假设：吸引子动力学与连接性约束是构建鲁棒深度学习架构的关键组件。