[论文解读] Slower is Better: Revisiting the Forgetting Mechanism in LSTM for Slower Information Decay

Hsiang-Yun Sherry Chien, Javier S. Turek+4 more|arXiv (Cornell University)|May 12, 2021

Ferroelectric and Negative Capacitance Devices参考文献 28被引用 10

一句话总结

本文提出了一种幂律遗忘门（pLSTM），用可学习的、更慢的幂律衰减替代标准LSTM中的指数衰减，以改善长序列建模。该方法使LSTM能够在无需先验知识的情况下保留数百个时间步的信息，在复制、图像分类和语言建模任务上优于标准LSTM和时序初始化LSTM，通过灵活调节衰减因子$p$实现。

ABSTRACT

Sequential information contains short- to long-range dependencies; however, learning long-timescale information has been a challenge for recurrent neural networks. Despite improvements in long short-term memory networks (LSTMs), the forgetting mechanism results in the exponential decay of information, limiting their capacity to capture long-timescale information. Here, we propose a power law forget gate, which instead learns to forget information along a slower power law decay function. Specifically, the new gate learns to control the power law decay factor, p, allowing the network to adjust the information decay rate according to task demands. Our experiments show that an LSTM with power law forget gates (pLSTM) can effectively capture long-range dependencies beyond hundreds of elements on image classification, language modeling, and categorization tasks, improving performance over the vanilla LSTM. We also inspected the revised forget gate by varying the initialization of p, setting p to a fixed value, and ablating cells in the pLSTM network. The results show that the information decay can be controlled by the learnable decay factor p, which allows pLSTM to achieve its superior performance. Altogether, we found that LSTM with the proposed forget gate can learn long-term dependencies, outperforming other recurrent networks in multiple domains; such gating mechanism can be integrated into other architectures for improving the learning of long timescale information in recurrent neural networks.

研究动机与目标

• 为解决标准LSTM中指数信息衰减的局限性，该局限性阻碍了序列数据中长距离依赖关系的学习。
• 开发一种更具生物学合理性和灵活性的遗忘机制，以模拟自然认知过程中观察到的更慢的幂律衰减。
• 使LSTM能够在无需事先了解序列长度或手动偏置初始化的情况下学习长期依赖关系。
• 通过允许少数衰减缓慢的单元保留与任务相关的信息，提升模型的鲁棒性和可解释性。

提出的方法

• 用一种通过可学习指数$p$控制衰减的幂律遗忘门，替代标准LSTM中的Sigmoid遗忘门。
• 使用幂律衰减函数$1/t^p$来制定单元状态的更新，其中$p$是训练过程中可微分学习的参数。
• 将幂律遗忘门集成到LSTM单元更新规则中，相应地修改隐藏状态和单元状态的转移。
• 允许在训练过程中对$p$进行初始化或固定，以研究其对信息保留和模型性能的影响。
• 通过消融研究和单元激活分析，考察低衰减单元在维持长期信息中的作用。
• 在需要长距离依赖的任务上测试模型，包括复制任务、图像分类、语言建模，以及具有可变时间间隔的频率判别任务。

实验结果

研究问题

• RQ1 可学习的幂律遗忘门是否能够超越指数衰减的局限性，在LSTM中实现更优的长距离信息保留？
• RQ2 与标准LSTM和时序初始化LSTM相比，pLSTM模型在需要数百个时间步记忆的任务上是否表现出更优的性能？
• RQ3 衰减因子$p$是否能够在不事先了解序列长度的情况下，通过训练有效学习，以适应不同的任务需求？
• RQ4 与标准LSTM相比，pLSTM模型在单元消融方面是否更具鲁棒性，表明其对长期信息的表示更高效或更局部化？
• RQ5 pLSTM是否能够在没有显式时间输入的情况下维持时间精度，表明其内部学习到了时间相关动态？

主要发现

• 在具有时间输入的频率判别任务中，pLSTM达到99.49%的准确率，在异步条件下达到92.57%，显著优于LSTM（68.59%）和LSTM-chrono（69.64%）。
• 在$T=500$的复制任务中，pLSTM达到99.29%的准确率，显著优于标准LSTM（有时间输入时为99.37%，无时间输入时为99.29%），且对单元随机丢弃表现出更强的鲁棒性。
• 消融研究显示，与标准LSTM和LSTM-chrono相比，pLSTM在长序列条件下对随机单元丢弃更具鲁棒性。
• 模型学习到使用一小部分衰减因子（$p$）较小的单元来在长时间尺度上保留信息，表明其采用了局部化表示策略。
• 即使没有显式时间输入，pLSTM仍能保持高性能，表明幂律门内部内化了时间信息，从而能够更好地泛化到可变时间间隔。
• 通过调整$p$的初始化方式并消融后置重置单元，确认衰减因子$p$对性能至关重要，其中高$p$值单元的消融导致准确率下降最大。