[论文解读] Recurrent Attention Unit

Guoqiang Zhong, Guohua Yue+1 more|arXiv (Cornell University)|Oct 30, 2018

Diet and metabolism studiesMedicine参考文献 29被引用 17

一句话总结

本文提出了一种新型RNN架构——循环注意力单元（RAU），其将注意力门直接集成到GRU单元中，以实现对序列相关区域的自适应、动态聚焦。RAU在图像分类、情感分类和语言建模任务中均优于GRU和LSTM，展现出更优的长期记忆保持能力并减少了信息冗余。

ABSTRACT

Recurrent Neural Network (RNN) has been successfully applied in many sequence learning problems. Such as handwriting recognition, image description, natural language processing and video motion analysis. After years of development, researchers have improved the internal structure of the RNN and introduced many variants. Among others, Gated Recurrent Unit (GRU) is one of the most widely used RNN model. However, GRU lacks the capability of adaptively paying attention to certain regions or locations, so that it may cause information redundancy or loss during leaning. In this paper, we propose a RNN model, called Recurrent Attention Unit (RAU), which seamlessly integrates the attention mechanism into the interior of GRU by adding an attention gate. The attention gate can enhance GRU's ability to remember long-term memory and help memory cells quickly discard unimportant content. RAU is capable of extracting information from the sequential data by adaptively selecting a sequence of regions or locations and pay more attention to the selected regions during learning. Extensive experiments on image classification, sentiment classification and language modeling show that RAU consistently outperforms GRU and other baseline methods.

研究动机与目标

• 为解决GRU在自适应聚焦重要序列区域方面的局限性，该局限可能导致信息冗余或丢失。
• 通过将注意力机制直接集成到GRU架构中，提升RNN的长期记忆保持能力。
• 通过将注意力门嵌入GRU单元内部而非作为外部模块，开发一种比现有注意力增强型RNN更简单、更易训练的模型。
• 在包括图像分类、语言建模和情感分类在内的多样化序列建模任务中，评估RAU的有效性。

提出的方法

• RAU在GRU的隐藏状态单元内部引入注意力门，根据输入的相关性动态调制隐藏状态。
• 注意力门对输入序列计算上下文感知的加权，使模型能够在每个时间步选择性地聚焦于显著特征。
• 注意力机制无缝集成到GRU的更新门和重置门中，实现端到端训练，无需额外模块。
• 该方法采用软注意力机制，为不同输入位置分配不同权重，突出重要信息并抑制无关内容。
• 该架构在保持GRU计算效率的同时，通过注意力驱动的特征选择增强了其表征能力。
• 该方法采用标准训练协议应用于序列建模任务，包括正则化手段如dropout和学习率衰减。

实验结果

研究问题

• RQ1 将注意力机制直接集成到GRU单元中，是否能提升长期记忆保持能力和序列建模性能？
• RQ2 与标准GRU和LSTM相比，所提出的RAU模型是否能减少信息冗余并改善对显著输入特征的关注？
• RQ3 RAU在图像分类、情感分类和语言建模等多样化序列任务中的表现如何？
• RQ4 与RNN中外部注意力模块相比，将注意力门集成到GRU单元中是否更具有效性和高效性？

主要发现

• 在Penn Treebank（PTB）小规模数据集上，RAU的测试困惑度达到113.89，优于GRU和LSTM。
• 在PTB-medium配置中，RAU的验证损失显著低于GRU和LSTM，如训练曲线所示。
• 在PTB-large模型中，尽管模型复杂度增加，RAU仍保持强劲性能，其测试困惑度与最先进模型相当。
• 在IMDB数据集的情感分类任务中，RAU的准确率与GRU和LSTM相当，且在学习率为10^-5时训练曲线稳定。
• RAU在所有评估任务中均表现出一致改进，证明其在不同序列学习问题上的泛化能力。
• 将注意力门集成到GRU单元内部，相比外部注意力模块，实现了更简单、更易训练的架构，且未牺牲性能。