[论文解读] Object Based Attention Through Internal Gating

Jordan Lei, Ari S. Benjamin+1 more|arXiv (Cornell University)|Jun 8, 2021

Visual Attention and Saliency Detection参考文献 67被引用 6

一句话总结

本文提出了一种基于对象的注意力深度学习模型，通过整合自上而下、自下而上及侧向反馈连接与内部门控机制，实现在分层神经网络中的循环、任务驱动注意力。该模型复现了关键的神经生物学现象，如注意力不变调谐、返回抑制以及深层神经元中注意力调制的增强，表明通过生物启发的架构与训练方式，可使学习到的循环注意力机制自然涌现。

ABSTRACT

Object-based attention is a key component of the visual system, relevant for perception, learning, and memory. Neurons tuned to features of attended objects tend to be more active than those associated with non-attended objects. There is a rich set of models of this phenomenon in computational neuroscience. However, there is currently a divide between models that successfully match physiological data but can only deal with extremely simple problems and models of attention used in computer vision. For example, attention in the brain is known to depend on top-down processing, whereas self-attention in deep learning does not. Here, we propose an artificial neural network model of object-based attention that captures the way in which attention is both top-down and recurrent. Our attention model works well both on simple test stimuli, such as those using images of handwritten digits, and on more complex stimuli, such as natural images drawn from the COCO dataset. We find that our model replicates a range of findings from neuroscience, including attention-invariant tuning, inhibition of return, and attention-mediated scaling of activity. Understanding object based attention is both computationally interesting and a key problem for computational neuroscience.

研究动机与目标

• 开发一种生物上合理的基于对象的注意力深度学习模型，以捕捉大脑中观察到的自上而下与循环动态。
• 弥合神经科学注意力模型（限于简单刺激）与深度学习注意力机制（缺乏自上而下控制）之间的差距。
• 通过统一、可学习的架构，实现在复杂视觉场景中同时进行对象识别与注意力分配。
• 复现关键的神经生物学注意力现象，如注意力不变调谐、返回抑制与分层调制。
• 探索内部门控与循环反馈如何支持深层网络中神经活动的注意力介导缩放。

提出的方法

• 该模型采用深层前馈卷积架构，并增加反馈与侧向连接，以实现从高层到低层的循环信息流。
• 内部门控通过可学习的、受注意力调制的门控机制实现，根据自上而下的信号选择性地增强或抑制早期层的活动。
• 网络通过时间反向传播（BPTT）在对象识别与注意力任务上进行训练，使用真实对象分割图与标签作为监督信号。
• 自上而下的注意力信号由高层表示生成，并通过乘法门控机制调制低层活动，实现对关注对象的选择性增强。
• 返回抑制通过动态门控机制实现，抑制最近被关注的区域，从而促进对多个对象的顺序扫描。
• 通过端到端训练，模型学习分层特征表示，注意力作为循环门控架构的副产品自然涌现。

实验结果

研究问题

• RQ1 具有循环反馈与内部门控的深度神经网络能否复现如注意力不变调谐等神经生物学观察到的注意力现象？
• RQ2 通过反馈连接实现的自上而下调制如何影响分层架构中的注意力增益与神经响应缩放？
• RQ3 该模型能否在未显式编程扫描顺序的情况下表现出返回抑制——顺序视觉注意力的标志性特征？
• RQ4 注意力调制是否在深层网络中增强，如灵长类视觉皮层中所观察到的那样？
• RQ5 内部门控机制在多大程度上可支持选择性注意力，同时保持神经元的基本调谐特性？

主要发现

• 模型成功复现了注意力不变调谐，即注意力调制响应幅度但不改变神经元基本调谐曲线的形状。
• 模型中的神经元在深层表现出更强的注意力调制，与灵长类视觉通路中的神经生理学发现一致。
• 通过动态抑制最近被关注区域，模型表现出返回抑制，从而实现对场景中多个对象的顺序扫描。
• 内部门控实现了神经活动的乘法缩放，非关注区域被抑制，关注区域被增强，模拟了皮层增益控制机制。
• 模型在未使用显式注意力监督的情况下，能够学习关注并分类复杂场景中的多个对象，包括COCO数据集中的自然图像。
• 由循环反馈、内部门控与分层特征学习共同作用，涌现出注意力动力学，表明注意力可被学习而非人工编码。