[论文解读] SalyPath360: Saliency and Scanpath Prediction Framework for Omnidirectional Images

Mohamed Amine Kerkouri, Marouane Tliba+2 more|arXiv (Cornell University)|Dec 31, 2021

Visual Attention and Saliency Detection参考文献 33被引用 4

一句话总结

SalyPath360 提出了一种新颖的深度学习框架，通过带有注意力机制的编码器-解码器网络与用于通过 SoftArgMax 进行注视点预测的辅助网络，联合预测全景 360° 图像的显著性图和扫描路径。该框架使用自适应联合概率模型融合显著性图与基于扫描路径的热力图，在 Salient360! 数据集上的显著性预测与扫描路径预测任务中均达到最先进性能。

ABSTRACT

This paper introduces a new framework to predict visual attention of omnidirectional images. The key setup of our architecture is the simultaneous prediction of the saliency map and a corresponding scanpath for a given stimulus. The framework implements a fully encoder-decoder convolutional neural network augmented by an attention module to generate representative saliency maps. In addition, an auxiliary network is employed to generate probable viewport center fixation points through the SoftArgMax function. The latter allows to derive fixation points from feature maps. To take advantage of the scanpath prediction, an adaptive joint probability distribution model is then applied to construct the final unbiased saliency map by leveraging the encoder decoder-based saliency map and the scanpath-based saliency heatmap. The proposed framework was evaluated in terms of saliency and scanpath prediction, and the results were compared to state-of-the-art methods on Salient360! dataset. The results showed the relevance of our framework and the benefits of such architecture for further omnidirectional visual attention prediction tasks.

研究动机与目标

• 为解决在全景 360° 图像中预测人类视觉注意的挑战，该挑战对优化虚拟现实内容分发和提升用户体验质量（QoE）至关重要。
• 开发一个统一框架，同时预测显著性图与扫描路径，以捕捉球形视觉内容中注视行为的动态特性。
• 通过学习的融合机制整合基于扫描路径的注视模式与赤道注意偏置，以提升显著性预测性能。
• 在 Salient360! 基准数据集上，评估该框架相较于最先进模型的有效性。

提出的方法

• 带有嵌入式自注意力模块的编码器-解码器卷积神经网络，从等距圆柱投影（ERP）格式的全景图像中生成主显著性图。
• 辅助网络通过在特征图上应用 SoftArgMax 函数，预测可能的视口中心注视点，从而实现扫描路径生成。
• 将预测的扫描路径与高斯滤波卷积，生成基于扫描路径的显著性热力图。
• 自适应联合概率分布模型融合主显著性图、基于扫描路径的热力图与赤道偏置图，生成最终的无偏显著性预测。
• 该框架利用多尺度特征与注意力机制，增强球形图像理解的表征学习能力。
• 模型在 Salient360! 数据集上进行训练与评估，使用标准指标包括 AUC-Judd、AUC-Borji、NSS、CC、SIM 与 KLD。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效预测全景 360° 图像中的显著性与扫描路径？
• RQ2 与独立的显著性模型相比，整合扫描路径预测与赤道偏置在多大程度上提升了显著性图的准确性？
• RQ3 在基准数据集上，对多种显著性表示进行自适应融合，在多大程度上优于现有最先进方法？
• RQ4 基于 SoftArgMax 的辅助网络在生成合理且空间一致的扫描路径中起到了何种作用？

主要发现

• SalyPath360 在 Jarodzka 与 NSS 指标上表现最佳，优于最先进模型如 SaltiNet 与 PathGan。
• 在 Salient360! 数据集上，SalyPath360 的 AUC-Judd 得分为 0.8610，AUC-Borji 为 0.8199，NSS 为 1.8552，显示出卓越的预测准确性。
• 单因素方差分析（ANOVA）检验确认，SalyPath360 与 SaltiNet 及 PathGan 在 Jarodzka 得分上存在统计显著差异（p < 0.05）。
• 联合概率融合模块显著提升了性能，最终预测图（SalyPath360）优于独立显著性图（S）与无赤道偏置融合图。
• 仅基于扫描路径的显著性图在基于位置的指标上表现强劲，但在基于分布的指标上表现较弱，凸显了融合的必要性。
• 定性结果表明，预测的扫描路径覆盖了显著区域与赤道区域，但基于指标的评估（Jarodzka）与视觉合理性之间存在脱节，提示该指标存在局限性。