[论文解读] Neural Attention Models in Deep Learning: Survey and Taxonomy

Alana de Santana Correia, Esther Luna Colombini|arXiv (Cornell University)|Dec 11, 2021

EEG and Brain-Computer Interfaces被引用 10

一句话总结

本文基于心理学和神经科学的先驱理论，对深度学习中的神经注意力模型进行了全面综述与分类。通过基于经典研究的17项标准，分析了51个主要注意力模型，提出了一个结构化框架以理解注意力机制，揭示研究空白——尤其是生物合理性以及上下文混合（自上而下与自下而上）注意力方面的不足——并为该领域未来的发展提供指导。

ABSTRACT

Attention is a state of arousal capable of dealing with limited processing bottlenecks in human beings by focusing selectively on one piece of information while ignoring other perceptible information. For decades, concepts and functions of attention have been studied in philosophy, psychology, neuroscience, and computing. Currently, this property has been widely explored in deep neural networks. Many different neural attention models are now available and have been a very active research area over the past six years. From the theoretical standpoint of attention, this survey provides a critical analysis of major neural attention models. Here we propose a taxonomy that corroborates with theoretical aspects that predate Deep Learning. Our taxonomy provides an organizational structure that asks new questions and structures the understanding of existing attentional mechanisms. In particular, 17 criteria derived from psychology and neuroscience classic studies are formulated for qualitative comparison and critical analysis on the 51 main models found on a set of more than 650 papers analyzed. Also, we highlight several theoretical issues that have not yet been explored, including discussions about biological plausibility, highlight current research trends, and provide insights for the future.

研究动机与目标

• 从深度学习出现前的认知科学理论视角，对主要神经注意力模型进行批判性分析。
• 基于经典心理学与神经科学研究的17项标准，构建注意力机制的分类体系。
• 通过理论基础坚实的框架，系统化理解现有注意力机制。
• 识别尚未充分探索的研究方向，特别是生物合理性、混合注意力（自上而下与自下而上）以及记忆整合方面。
• 通过揭示注意力建模中的关键理论与实践空白，尤其在多模态与自监督学习情境下，为未来研究提供指导。

提出的方法

• 系统性回顾超过650篇论文，识别并分析深度学习中最具影响力的51个神经注意力模型。
• 基于心理学与神经科学基础研究提出的17项标准（包括选择性、模态、控制模式与时间动态等），提出分类体系。
• 通过分类框架对注意力模型进行定性比较，重点评估其与人类注意力机制的理论一致性。
• 将注意力机制映射至各类架构（如Transformer、RNN、CNN与图神经网络），评估其与认知原理的契合度。
• 识别当前模型的局限性，如缺乏自下而上的注意力机制、与外部记忆系统整合不足，以及混合注意力机制薄弱。
• 通过强调神经生理学证据支持的自上而下与自下而上注意力的迭代交互，为未来模型设计提供框架。

实验结果

研究问题

• RQ1 当前深度学习中的神经注意力模型在多大程度上与心理学与神经科学的理论和实证发现相一致？
• RQ2 注意力机制在结构与功能上的关键差异是什么？如何系统性地对其进行分类？
• RQ3 当前注意力模型在多大程度上具备生物合理性，特别是在自上而下与自下而上控制机制方面？
• RQ4 为何外部记忆系统（尤其是情景记忆、工作记忆与语义记忆）在基于注意力的深度学习模型中仍发展不足？
• RQ5 如何通过迭代结合自上而下与自下而上影响的混合注意力模型，提升感知与决策任务中的性能？

主要发现

• 综述识别出51个主要神经注意力模型，涵盖多种架构，包括Transformer、RNN、CNN与图神经网络。
• 许多注意力模型与经典注意力理论（如特征整合理论与聚光灯模型）一致，尤其在选择性处理与模态特异性注意力方面。
• 尽管有坚实的理论与神经生理学支持，仅有少数模型整合了自下而上的注意力机制，其在早期感知中的作用未被充分体现。
• 同时整合自上而下与自下而上注意力的混合模型极为稀少；仅有Neural Transformer与BRIMs在该方向取得显著进展。
• 外部记忆整合仍发展不足，大多数模型仅关注当前输入，而未能重用或组织先前获取的知识。
• 自上而下与自下而上注意力机制之间缺乏迭代交互，限制了模型在动态或模糊环境中的适应能力，凸显了关键的研究空白。