[论文解读] Visual Saliency and Attention as Random Walks on Complex Networks

Luciano da Fontoura Costa|ArXiv.org|Mar 5, 2006

Data Visualization and Analytics参考文献 4被引用 30

一句话总结

本文提出了一种基于图像特征生成的复杂网络上随机游走的生物可实现视觉显著性与注意模型。通过将像素或图像区域建模为节点，并依据视觉特征与距离设定连接权重，偏好性随机游走通过访问频率识别显著区域，与显著性及网络拓扑表现出强相关性。

ABSTRACT

The current article shows how concepts from the areas of random walks, Markov chains, complex networks and image analysis can be naturally combined in order to provide a unified and biologically plausible model relating saliency and visual attention. Two types of models are proposed: (i) images are converted into complex networks by considering pixels as nodes while connections are established in terms of fields of influence defined by visual features such as tangent fields induced by gray-level contrasts and distance; and (ii) image pixels exhibiting particularly distinctive values of visual properties such as gray-level intensity, contrast, size of objects, orientation and texture are mapped into nodes and the weights of links are defined in order to favor transitions between regions with similar or different visual features, also taking the distance between the nodes into account. Preferential random walks are performed on such networks in order to emulate attentional shifts and eye movements, and the saliency of each region is obtained in terms of the frequency of visits to each node at equilibrium. In the case of the first model, there is a definite tendency to emphasize not only high curvature points but also convergences of the tangent field. The frequency of visits is found to be strongly correlated with the node degrees (strengths) for this model. Different results have been obtained for the second model as a consequence of the directed and asymmetric nature of the respectively obtained networks.

研究动机与目标

• 开发一种统一的、生物可实现的模型，整合视觉显著性与选择性注意，运用复杂网络与随机游走的概念。
• 通过在图像表征中引入空间与基于特征的连通性，解决传统显著性模型的局限性。
• 通过基于特征驱动的网络上的偏好性随机游走，模拟注意力转移与眼动。
• 通过均衡状态下访问频率，建立网络拓扑（如节点度、强度）与显著性的直接关联。
• 通过基于对比度、曲率、大小与方向等视觉属性的图像区域建模，实现多尺度显著性检测。

提出的方法

• 通过将像素或预选图像区域映射为节点，将图像转换为复杂网络。
• 使用权重函数 w(i,j) = f(s(i),s(j)) / d(i,j) 定义节点间连接，其中 f 衡量视觉特征相似性（如强度、对比度、大小），d 为空间距离。
• 通过列归一化权重矩阵构建转移矩阵，以确保马尔可夫链动力学的随机性。
• 在网络上执行偏好性随机游走，其中转移概率倾向于选择权重更高的连接。
• 将显著性计算为每个节点在均衡状态下的访问频率，表示注意力优先级。
• 在第一种模型中使用切线场与曲率信息以突出边缘与角点，而第二种模型则聚焦于基于特征的节点选择与非对称连通性。

实验结果

研究问题

• RQ1 如何利用复杂网络动力学将视觉显著性与注意力转移建模为统一过程？
• RQ2 网络拓扑度量（如节点度与强度）与随机游走模型中模拟的显著性之间的相关性在多大程度上成立？
• RQ3 基于特征的网络构建（如基于对比度、大小、方向）能否有效预测显著图像区域？
• RQ4 在连接权重中引入距离与特征相似性，如何影响显著性模式的出现？
• RQ5 该模型能否再现已知的心理物理学发现，如对高对比度或曲率区域的注意力增强？

主要发现

• 在第一种模型中，显著性与节点度（或强度）强烈相关，尤其强调高曲率点与切线场汇聚点。
• 第一种模型中的偏好性随机游走成功识别出边缘点与角点为显著区域，模拟了生物注意机制。
• 在第二种模型中，显著性与节点的入度与出度强度直接相关，且显著受邻近节点视觉特征的影响。
• 在圆盘场示例中，显著性在较大圆盘上最高，且在周围存在多个邻近圆盘的节点上也最高，结果表明显著性与圆盘半径之间存在强相关性。
• 该模型表明，特征相似性高且邻近的区域在随机游走中更可能被访问，从而导致更高的显著性。
• 该方法实现了多尺度显著性检测，并通过沿边缘切线线方向逐像素递增，提出了一种计算高效的显著性检测算法。