[论文解读] Understanding More about Human and Machine Attention in Deep Neural Networks

Qiuxia Lai, Salman Khan+4 more|arXiv (Cornell University)|Jun 20, 2019

Visual Attention and Saliency Detection参考文献 91被引用 15

一句话总结

本文研究了在显著目标分割、视频动作识别和细粒度分类三个计算机视觉任务中，人类视觉注意力与深度神经网络中人工注意力之间的一致性。以真实的人类注视数据作为基准，结果表明：与人类注意力越接近的注意力机制，模型性能和鲁棒性越优，尤其在低层次、注意力驱动的任务中表现更佳，因此建议在神经网络设计中显式对齐人类注意力，以提升可解释性和性能。

ABSTRACT

Human visual system can selectively attend to parts of a scene for quick perception, a biological mechanism known as Human attention. Inspired by this, recent deep learning models encode attention mechanisms to focus on the most task-relevant parts of the input signal for further processing, which is called Machine/Neural/Artificial attention. Understanding the relation between human and machine attention is important for interpreting and designing neural networks. Many works claim that the attention mechanism offers an extra dimension of interpretability by explaining where the neural networks look. However, recent studies demonstrate that artificial attention maps do not always coincide with common intuition. In view of these conflicting evidence, here we make a systematic study on using artificial attention and human attention in neural network design. With three example computer vision tasks, diverse representative backbones, and famous architectures, corresponding real human gaze data, and systematically conducted large-scale quantitative studies, we quantify the consistency between artificial attention and human visual attention and offer novel insights into existing artificial attention mechanisms by giving preliminary answers to several key questions related to human and artificial attention mechanisms. Overall results demonstrate that human attention can benchmark the meaningful `ground-truth' in attention-driven tasks, where the more the artificial attention is close to human attention, the better the performance; for higher-level vision tasks, it is case-by-case. It would be advisable for attention-driven tasks to explicitly force a better alignment between artificial and human attention to boost the performance; such alignment would also improve the network explainability for higher-level computer vision tasks.

研究动机与目标

• 探究在特定任务条件下，深度神经网络中的人工注意力是否与人类视觉注意力保持一致。
• 评估人类注意力是否可作为注意力驱动计算机视觉任务中人工注意力有意义性的可靠‘真实标签’基准。
• 分析网络架构、深度以及注意力机制设计对人工注意力与人类注意力一致性的影响。
• 评估注意力对齐对模型对抗攻击鲁棒性及预测准确率的影响。
• 为设计更具可解释性与高效性的注意力机制提供可操作的见解。

提出的方法

• 本研究采用在受控、目标驱动的任务条件下采集的真实人类注视数据，作为人类注意力的代理。
• 在三个视觉任务中，对多种深度学习主干网络（AlexNet、VGGNet、ResNet）和架构（Two-stream、FCN）进行评估。
• 从训练好的模型中提取人工注意力图，并使用相关性、重叠度等一致性度量指标，与人类注视图进行定量比较。
• 实验包括对激活函数（Sigmoid、Softmax）、融合策略（早期融合与晚期融合）以及来自人类注意力的监督进行消融研究。
• 通过FGSM对抗攻击测试模型鲁棒性，以评估注意力在模型稳定性中的作用。
• 在多样化数据集与网络配置上开展大规模、系统性的评估，以确保结果的泛化能力。

实验结果

研究问题

• RQ1 在特定任务设置下，深度神经网络中的人工注意力图与人类视觉注意力的一致性程度如何？
• RQ2 人类注意力是否可作为评估深度学习模型中人工注意力有意义性的可靠基准？
• RQ3 网络架构、深度以及注意力机制设计如何影响人工注意力与人类注意力之间的一致性？
• RQ4 将人工注意力与人类注意力对齐是否能提升模型性能与对抗攻击下的鲁棒性？
• RQ5 在不同视觉任务中，注意力质量与预测准确率之间是否存在稳定的关系？

主要发现

• 与人类注视模式更一致的人工注意力机制在性能上显著更优，尤其在显著目标分割和细粒度分类等低层次任务中表现突出。
• 人类注意力可作为注意力驱动任务中人工注意力有意义性的有效且可靠的基准，更高的一致性与模型准确率提升相关。
• 基于ResNet的模型始终生成比VGGNet或AlexNet更接近人类的注意力图，且在人类注意力监督下获益更多。
• 激活函数的选择（如视频动作识别中使用Sigmoid，细粒度分类中使用Softmax）显著影响注意力图质量与模型性能。
• 关注正确的视觉细节可提升鲁棒性，因为与人类注意力对齐的模型在FGSM对抗攻击下表现出显著更高的抗性。
• 对于高阶任务（如视频动作识别），注意力对齐虽有益但预测性较低，表明任务复杂性限制了与人类注意力的直接对齐。