[论文解读] Promoting Saliency From Depth: Deep Unsupervised RGB-D Saliency Detection

Wei Ji, Jingjing Li+4 more|arXiv (Cornell University)|May 15, 2022

Visual Attention and Saliency Detection被引用 16

一句话总结

本文提出一种深度无监督RGB-D显著性检测方法，通过使用深度解耦的显著性更新（DSU）框架，利用深度线索迭代优化伪标签，结合注意力训练策略重新加权可靠伪标签，从而消除对像素级标注的需求。该方法在NLPR基准上相比基线模型实现37%的性能提升，且无需额外推理开销。

ABSTRACT

Growing interests in RGB-D salient object detection (RGB-D SOD) have been witnessed in recent years, owing partly to the popularity of depth sensors and the rapid progress of deep learning techniques. Unfortunately, existing RGB-D SOD methods typically demand large quantity of training images being thoroughly annotated at pixel-level. The laborious and time-consuming manual annotation has become a real bottleneck in various practical scenarios. On the other hand, current unsupervised RGB-D SOD methods still heavily rely on handcrafted feature representations. This inspires us to propose in this paper a deep unsupervised RGB-D saliency detection approach, which requires no manual pixel-level annotation during training. It is realized by two key ingredients in our training pipeline. First, a depth-disentangled saliency update (DSU) framework is designed to automatically produce pseudo-labels with iterative follow-up refinements, which provides more trustworthy supervision signals for training the saliency network. Second, an attentive training strategy is introduced to tackle the issue of noisy pseudo-labels, by properly re-weighting to highlight the more reliable pseudo-labels. Extensive experiments demonstrate the superior efficiency and effectiveness of our approach in tackling the challenging unsupervised RGB-D SOD scenarios. Moreover, our approach can also be adapted to work in fully-supervised situation. Empirical studies show the incorporation of our approach gives rise to notably performance improvement in existing supervised RGB-D SOD models.

研究动机与目标

• 解决监督式RGB-D显著性检测中劳动密集型的像素级标注瓶颈。
• 通过利用未标注数据中的深度表征，克服现有无监督方法依赖手工设计特征的局限性。
• 仅使用RGB和深度输入实现有效的无监督训练，无需人工标注。
• 通过将深度解耦为显著性引导与非显著性引导分量，减少噪声并增强监督信号，从而提升伪标签质量。
• 设计一种重新加权可靠伪标签的训练策略，以减轻无监督学习中噪声标签的影响。

提出的方法

• 提出一种深度解耦的显著性更新（DSU）框架，通过专用网络将原始深度分解为显著性引导深度（$D_{\text{Sal}}$）与非显著性引导深度（$D_{\text{NonSal}}$）。
• 利用$D_{\text{Sal}}$增强伪标签中的显著性响应，利用$D_{\text{NonSal}}$在伪标签优化过程中抑制背景干扰。
• 应用阈值处理、归一化及CRF后处理，以减少对象内部深度方差并平滑伪标签。
• 实施一种注意力训练策略（ATS），根据伪标签的可靠性重新加权训练样本，以降低噪声影响。
• 端到端训练显著性网络，其中DSU与ATS组件仅在训练阶段启用。
• 确保推理阶段仅使用RGB输入，避免测试时引入深度输入，从而保持高效性。

实验结果

研究问题

• RQ1 能否开发一种无需像素级标注的深度无监督RGB-D显著性检测方法？
• RQ2 如何有效利用深度信息以提升无监督训练中伪标签的质量？
• RQ3 深度解耦网络架构是否可通过分离显著与非显著深度线索，提升伪标签的可靠性？
• RQ4 注意力训练策略在多大程度上可缓解由噪声伪标签引起的性能下降？
• RQ5 所提方法是否可适配以提升全监督设置下的性能？

主要发现

• 所提方法在无监督RGB-D SOD的NLPR基准上相比基线实现37%的相对性能提升，证明了其强大有效性。
• 结合CRF的深度平滑处理使DSU框架在NLPR上将$F_{\beta}^{w}$提升0.006，$E_{\xi}$提升0.006，表明对深度不一致性具有更强鲁棒性。
• 注意力训练策略有效降低了模糊伪标签的影响，使显著性预测更加稳定和准确。
• 该方法泛化能力良好，将其集成至现有监督模型后，在全监督设置下也取得显著性能提升。
• 消融实验证实，深度解耦与注意力重加权均为性能提升的关键组件。
• 通过在测试阶段排除深度输入，该方法保持了推理效率，确保无额外计算开销。