[论文解读] The Costs and Benefits of Goal-Directed Attention in Deep Convolutional Neural Networks

Xiaoliang Luo, Brett D. Roads+1 more|arXiv (Cornell University)|Feb 6, 2020

Visual Attention and Saliency Detection参考文献 41被引用 5

一句话总结

本文提出一种即插即用的、目标导向的注意力机制，用于深度卷积神经网络（DCNNs），通过调节中级特征表示来提升特定任务的性能。通过应用自上而下的注意力权重来增强与目标相关的特征，该方法在中等注意力水平下提高了敏感度（d′），同时增加了偏差和误报——这与人类注意力的权衡相似，并在迁移学习中优于标准微调方法。

ABSTRACT

People deploy top-down, goal-directed attention to accomplish tasks, such as finding lost keys. By tuning the visual system to relevant information sources, object recognition can become more efficient (a benefit) and more biased toward the target (a potential cost). Motivated by selective attention in categorisation models, we developed a goal-directed attention mechanism that can process naturalistic (photographic) stimuli. Our attention mechanism can be incorporated into any existing deep convolutional neural network (DCNNs). The processing stages in DCNNs have been related to ventral visual stream. In that light, our attentional mechanism incorporates top-down influences from prefrontal cortex (PFC) to support goal-directed behaviour. Akin to how attention weights in categorisation models warp representational spaces, we introduce a layer of attention weights to the mid-level of a DCNN that amplify or attenuate activity to further a goal. We evaluated the attentional mechanism using photographic stimuli, varying the attentional target. We found that increasing goal-directed attention has benefits (increasing hit rates) and costs (increasing false alarm rates). At a moderate level, attention improves sensitivity (i.e., increases $d^\prime$) at only a moderate increase in bias for tasks involving standard images, blended images, and natural adversarial images chosen to fool DCNNs. These results suggest that goal-directed attention can reconfigure general-purpose DCNNs to better suit the current task goal, much like PFC modulates activity along the ventral stream. In addition to being more parsimonious and brain consistent, the mid-level attention approach performed better than a standard machine learning approach for transfer learning, namely retraining the final network layer to accommodate the new task.

研究动机与目标

• 开发一种生物上合理的、目标导向的注意力机制，可集成到预训练的DCNN中，以提升视觉识别任务的性能。
• 研究目标导向注意力在DCNN中的收益（敏感度提升）与代价（误报增加）之间的权衡，类比人类认知处理过程。
• 评估基于注意力的DCNN重配置是否优于标准迁移学习方法（如最后一层微调）。
• 探索前额叶皮层类机制的自上而下信号如何重新配置通用DCNN以适应特定任务目标。
• 为未来模型奠定基础，使其能够跨多个目标类别泛化注意力机制，并支持复杂搜索策略（如合取、析取）。

提出的方法

• 在预训练的DCNN中插入一个中级注意力层，通过可学习的注意力权重对卷积特征图中的响应进行过滤。
• 注意力权重经过训练，以增强或抑制与特定目标类别（如“花斑猫”）相关的特征维度，模拟来自前额叶皮层的自上而下调节。
• 该注意力机制通过重新加权特征激活，增加滤波器响应的方差，从而有效抑制无关滤波器，增强目标的可区分性。
• 使用信号检测理论指标（击中率、误报率、敏感度d′）在标准图像、混合图像和自然对抗性图像上评估性能。
• 将该方法与通过最后一层微调的标准迁移学习进行比较，使用相同的网络架构和训练协议。
• 调节注意力强度以评估其对偏差和敏感度的影响，发现中等注意力水平时性能达到峰值。

实验结果

研究问题

• RQ1 DCNN中的目标导向注意力是否能提升目标检测的敏感度（d′）？若能，其效益在何种注意力强度水平下达到最大？
• RQ2 增加目标导向注意力是否会导致击中率提升与误报率增加之间的可测量权衡，如同人类认知中所见？
• RQ3 中等层次的、即插即用的注意力机制能否像前额叶皮层调节腹侧视觉通路一样，重新配置通用DCNN以更好地适应特定任务目标？
• RQ4 在多种图像类型下，基于注意力的方法是否在敏感度和鲁棒性方面优于标准迁移学习（如最后一层微调）？
• RQ5 注意力权重如何重新配置网络的表征空间？它们是否根据任务相关性选择性地抑制或增强特定滤波器？

主要发现

• 增加目标导向注意力可提升击中率和敏感度（d′），且在中等注意力强度水平下达到峰值敏感度。
• 随着注意力强度增加，误报率上升，证实了注意力偏向目标类特征的代价，即使在非目标物体中也是如此。
• 该注意力机制在迁移学习中优于标准的最后一层微调方法，表明其具有更高的效率和更强的表征灵活性。
• 注意力权重通过增加滤波器响应的方差，重新配置网络，选择性地抑制与目标类别无关的滤波器。
• 该机制成功地重新加权特征维度，使目标类别更具可区分性，类似于认知模型中注意力的几何形变。
• 结果支持了假设：自上而下的注意力可重新配置通用DCNN以实现特定任务性能，其机制与人类前额叶-视觉通路的相互作用相一致。