[论文解读] Visual Search Asymmetry: Deep Nets and Humans Share Similar Inherent Biases

Shashi Kant Gupta, Mengmi Zhang+3 more|arXiv (Cornell University)|Jun 5, 2021

Visual perception and processing mechanisms被引用 8

一句话总结

该论文提出eccNET模型，整合了依赖离心率的视觉处理与自上而下的注意力机制，以解释视觉搜索不对称性——即在干扰物B中寻找目标A比反之更简单。该模型在无需任务特定微调的情况下，复现了人类的搜索不对称性模式，表明这些偏见源于ImageNet数据集的统计特性，而非对任务的显式学习。

ABSTRACT

Visual search is a ubiquitous and often challenging daily task, exemplified by looking for the car keys at home or a friend in a crowd. An intriguing property of some classical search tasks is an asymmetry such that finding a target A among distractors B can be easier than finding B among A. To elucidate the mechanisms responsible for asymmetry in visual search, we propose a computational model that takes a target and a search image as inputs and produces a sequence of eye movements until the target is found. The model integrates eccentricity-dependent visual recognition with target-dependent top-down cues. We compared the model against human behavior in six paradigmatic search tasks that show asymmetry in humans. Without prior exposure to the stimuli or task-specific training, the model provides a plausible mechanism for search asymmetry. We hypothesized that the polarity of search asymmetry arises from experience with the natural environment. We tested this hypothesis by training the model on augmented versions of ImageNet where the biases of natural images were either removed or reversed. The polarity of search asymmetry disappeared or was altered depending on the training protocol. This study highlights how classical perceptual properties can emerge in neural network models, without the need for task-specific training, but rather as a consequence of the statistical properties of the developmental diet fed to the model. All source code and data are publicly available at https://github.com/kreimanlab/VisualSearchAsymmetry.

研究动机与目标

• 理解视觉搜索不对称性的神经与计算机制，即搜索效率因目标与干扰物身份不同而异。
• 研究深度神经网络是否在无需任务特定微调的情况下，自发表现出与人类行为一致的搜索不对称性。
• 检验搜索不对称性的极性是否源于训练数据的统计规律性（如ImageNet中的物体方向与布局），而非仅由网络架构决定。
• 通过一种生物启发的计算框架，弥合人类视觉搜索的生理心理发现与深度学习模型中出现的偏见。

提出的方法

• 该模型名为eccNET，采用基于VGG16的主干网络，并引入依赖离心率的池化层，以模拟灵长类动物的中央与周边视觉处理。
• 通过存储目标特征并调制搜索图像中的激活，实现自上而下的注意力机制，以引导顺序性眼动。
• 眼动序列通过迭代选择基于自上而下注意力与自下而上特征组合的显著性图中的下一个注视点生成。
• 模型在ImageNet上进行图像分类的预训练，随后在六项经典视觉搜索不对称性任务上进行测试，无需进一步微调。
• 为检验训练数据统计特性的作用，模型在经过旋转增强的ImageNet（如90°旋转）上重新训练，以改变自然图像的统计偏见。
• 性能通过累积搜索准确率、与人类数据的扫描路径相似性，以及作为集合大小函数的反应时间进行评估。

实验结果

研究问题

• RQ1 深度神经网络模型是否能在无需任务特定训练的情况下复现人类的视觉搜索不对称性？
• RQ2 搜索不对称性的极性是否依赖于训练数据的统计特性，如物体方向与布局？
• RQ3 预训练数据中的归纳偏见在多大程度上塑造了复杂视觉行为（如搜索不对称性）？
• RQ4 自上而下的注意力与依赖离心率的处理如何协同作用，以实现在人类与人工网络中的高效视觉搜索？

主要发现

• eccNET模型在无需任何任务特定微调的情况下，自发复现了六项心理物理实验中的视觉搜索不对称性，其极性与人类表现一致。
• 当在90°旋转的ImageNet版本上训练时，模型的搜索不对称性极性发生反转或消失，表明数据统计特性主导了该偏见。
• 模型的累积搜索性能与人类观察者的扫描路径相似性，与SOTA模型（如IVSN）相当，尤其在物体阵列与自然图像搜索任务中表现突出。
• 引入自下而上的显著性图提升了模型预测注视序列的能力，但核心的不对称性仍源于自上而下注意力与依赖离心率的处理。
• 自上而下的注意力图显示，模型优先关注与目标一致的特征，即使在复杂的干扰物阵列中，目标附近区域的激活也最强。
• 模型的反应时间随集合大小增加而上升，其变化模式与人类数据一致，支持其作为行为代理的有效性。