[论文解读] Salient Region Segmentation

Sen He, Nicolas Pugeault|arXiv (Cornell University)|Mar 15, 2018

Visual Attention and Saliency Detection参考文献 19被引用 8

一句话总结

该论文将显著性预测重新定义为使用语义分割框架的显著区域分割任务，引入三种显著性水平（高、中、低），相较于基于回归的方法，实现了更快、更稳定的训练，同时达到了最先进的注视预测性能。该模型学习到的特征与心理学实验发现的中心-周边对比特征一致。

ABSTRACT

Saliency prediction is a well studied problem in computer vision. Early saliency models were based on low-level hand-crafted feature derived from insights gained in neuroscience and psychophysics. In the wake of deep learning breakthrough, a new cohort of models were proposed based on neural network architectures, allowing significantly higher gaze prediction than previous shallow models, on all metrics. However, most models treat the saliency prediction as a extit{regression} problem, and accurate regression of high-dimensional data is known to be a hard problem. Furthermore, it is unclear that intermediate levels of saliency (ie, neither very high, nor very low) are meaningful: Something is either salient, or it is not. Drawing from those two observations, we reformulate the saliency prediction problem as a salient region extit{segmentation} problem. We demonstrate that the reformulation allows for faster convergence than the classical regression problem, while performance is comparable to state-of-the-art. We also visualise the general features learned by the model, which are showed to be consistent with insights from psychophysics.

研究动机与目标

• 为解决回归高维显著性图固有的模糊性和困难性，将问题重新定义为显著区域分割任务。
• 与传统基于回归的显著性模型相比，提升训练收敛速度与稳定性。
• 探究深度神经网络学习的特征是否与已知的心理物理学原理（如中心-周边对比）一致。
• 使用基于注视的指标（特别是NSS）评估性能，该指标比AUC更能反映人类注视模式。

提出的方法

• 提出一种三级显著性分割任务（高、中、低），而非像素级显著性回归。
• 采用带有跳跃连接的编码器-解码器U-Net结构，以保留空间分辨率。
• 使用交叉熵损失进行分割，避免高维回归中欧氏距离损失的不稳定性。
• 在解码路径中应用上采样与转置卷积，以在保留空间结构的同时上采样特征图。
• 通过稀疏特征图重构神经元感受野，采用改进的激活可视化技术来可视化学习到的特征。
• 使用标准差对模型输出进行归一化，以计算NSS分数，从而考虑输出方差的影响。

实验结果

研究问题

• RQ1 将显著性预测重新定义为具有离散显著性水平的分割任务，是否能相比回归方法提升训练收敛速度与性能？
• RQ2 由分割模型学习到的深度特征是否与心理学中已知的中心-周边模式一致？
• RQ3 所提出的分割模型在基于注视的指标上，与最先进的基于回归的显著性模型相比表现如何？
• RQ4 当预测结果的标准差增大时，NSS分数为何显著下降，这对评估有何影响？

主要发现

• 基于分割的模型仅在2,000次迭代（两轮训练）内收敛，显著快于基于回归的模型，后者表现出缓慢且振荡的收敛过程。
• 尽管进行了简化，该模型在注视预测性能上仍与最先进的回归模型相当，在SALICON数据集上达到3.1471的NSS分数。
• 模型输出的标准差（0.1923）高于显著性图（0.0329）和显著区域图（0.0777），导致归一化后显著性分数降低。
• 对学习特征的可视化显示，编码器最后一层前64个神经元呈现出清晰的中心-周边模式，证实与心理学中心-周边理论的一致性。
• 区域限制机制虽降低了AUC，但显著提高了NSS，表明NSS是更适合基于注视的显著性评估的指标。
• 在分割与回归设置中，转置卷积均优于上采样，尤其在保留空间细节方面表现更优。