[论文解读] Wave Propagation of Visual Stimuli in Focus of Attention

Lapo Faggi, Alessandro Betti+3 more|arXiv (Cornell University)|Jun 19, 2020

Visual Attention and Saliency Detection参考文献 37被引用 4

一句话总结

该论文提出了一种生物上合理、时空局部化的视觉注意计算模型，基于视觉刺激的波传播，整合了返回抑制机制以防止固定点循环。该模型通过在波速无限的极限下模拟引力注意模型，在扫描路径预测任务中实现了最先进性能，同时通过局部化动力学实现了高效的并行计算。

ABSTRACT

Fast reactions to changes in the surrounding visual environment require efficient attention mechanisms to reallocate computational resources to most relevant locations in the visual field. While current computational models keep improving their predictive ability thanks to the increasing availability of data, they still struggle approximating the effectiveness and efficiency exhibited by foveated animals. In this paper, we present a biologically-plausible computational model of focus of attention that exhibits spatiotemporal locality and that is very well-suited for parallel and distributed implementations. Attention emerges as a wave propagation process originated by visual stimuli corresponding to details and motion information. The resulting field obeys the principle of "inhibition of return" so as not to get stuck in potential holes. An accurate experimentation of the model shows that it achieves top level performance in scanpath prediction tasks. This can easily be understood at the light of a theoretical result that we establish in the paper, where we prove that as the velocity of wave propagation goes to infinity, the proposed model reduces to recently proposed state of the art gravitational models of focus of attention.

研究动机与目标

• 开发一种生物上合理、局部化的视觉注意模型，避免集中式显著性计算。
• 通过引入波传播动力学，解决现有引力模型中全局计算的局限性。
• 通过局部时空计算实现高效、并行和分布式的实现。
• 弥合生物启发注意机制与最先进扫描路径预测性能之间的差距。

提出的方法

• 将注意建模为从视觉刺激出发的波传播，使用阻尼波动方程模拟信号在视觉场中的传播。
• 通过单调递减的显著性项引入返回抑制，以避免重复注视先前固定过的区域。
• 通过在二维视网膜网格上求解波动方程，实现空间局部化计算，避免全局力的求和。
• 使用偏微分方程框架形式化模型，在波速无限的极限下退化为泊松方程。
• 采用显式有限差分法对基于网格的视网膜表示进行数值离散化实现模型。
• 使用扫描路径预测任务，结合字符串编辑距离（SED）和缩放时间延迟嵌入（STDE）对模型进行验证。

实验结果

研究问题

• RQ1 如何将视觉注意建模为一种避免全局计算的局部化波基过程？
• RQ2 波传播动力学与既有的引力注意模型之间存在何种关系？
• RQ3 局部化波模型能否在扫描路径预测中实现最先进性能？
• RQ4 波速如何影响模型收敛至引力模型？
• RQ5 在波基注意系统中，返回抑制在防止固定点循环中起什么作用？

主要发现

• 所提出的波基模型在扫描路径预测中实现了最先进性能，STDE最佳得分为0.90，优于所有基线模型。
• 模型平均STDE得分为3.88，最佳STDE得分为0.90，表明其与人类固定轨迹高度一致。
• 在波速无限的极限下，模型收敛至泊松方程，解释了其与近期引力模型的等价性。
• 该波模型表现出时空局部性，支持高效的SIMD并行实现，并增强了生物合理性。
• 尽管为无监督模型，该模型在扫描路径预测中甚至优于监督模型如Deep Gaze II和SAM。
• 波机制自然支持周边刺激响应，并通过返回抑制避免固定点循环，从而提升动态扫描路径的真实性。