[论文解读] Survey on the attention based RNN model and its applications in computer vision

Feng Wang, David M. J. Tax|arXiv (Cornell University)|Jan 25, 2016

Advanced Image and Video Retrieval Techniques参考文献 34被引用 100

一句话总结

本综述回顾基于注意力的RNN模型在序列到序列任务中的应用，详细介绍四种注意力机制及其在计算机视觉中的应用，并讨论优点与未来方向。

ABSTRACT

The recurrent neural networks (RNN) can be used to solve the sequence to sequence problem, where both the input and the output have sequential structures. Usually there are some implicit relations between the structures. However, it is hard for the common RNN model to fully explore the relations between the sequences. In this survey, we introduce some attention based RNN models which can focus on different parts of the input for each output item, in order to explore and take advantage of the implicit relations between the input and the output items. The different attention mechanisms are described in detail. We then introduce some applications in computer vision which apply the attention based RNN models. The superiority of the attention based RNN model is shown by the experimental results. At last some future research directions are given.

研究动机与目标

• 解释注意力的概念及其与序列到序列问题中RNNs的相关性。
• 描述编码器-解码器框架，以及注意力在处理可变长度输入/输出时的优势。
• 详细介绍四种注意力机制（逐项/位置式，软/硬）及其在端到端模型中的整合。
• 讨论基于注意力的RNN在计算机视觉中的应用及潜在的未来研究方向。

提出的方法

• 在编码器-解码器范式内定义并形式化基于注意力的RNN模型。
• 给出四种注意力机制：逐项软注意力、逐项硬注意力、位置式硬注意力和位置式软注意力。
• 解释注意力权重的计算方式（例如 e_jt = f_att(c_t, h_{j-1}) 以及通过 softmax 得到的 alpha_jt）以及中间代码的形成。
• 讨论将端到端可微分训练，或结合强化学习以实现硬注意力的训练。
• 说明注意力如何提供更好的中间表示和可解释性。

实验结果

研究问题

• RQ1 注意力在提升用于序列到序列任务的编码器-解码器RNN中的作用是什么？
• RQ2 四种注意力机制在输入类型、计算方式和可微分性方面有何区别？
• RQ3 基于注意力的RNN相对于传统RNN在面向视觉的序列问题上有哪些优势？
• RQ4 如何将注意力机制应用于各种计算机视觉任务和数据模态？
• RQ5 对于基于注意力的RNN模型，提出了哪些未来方向与挑战？

主要发现

• 基于注意力的RNN对输入的不同部分分配不同权重，从而捕捉隐含的输入-输出关系。
• 提出四种注意力机制：逐项软、逐项硬、位置式软与位置式硬注意力。
• 硬注意力通过聚焦于相关部分来减少计算，学习通过强化学习技术得到促进。
• 软注意力是可微分的，使得对RNN和注意力模块的端到端训练成为可能。
• 综述报告了实验结果，显示所述情境中基于注意力的RNN具有优越性。
• 该模型将序列到序列问题分解为编码器、注意力和解码器组件，从而实现对输入的灵活处理（特征图或显式的项序列）。