[论文解读] PDNet: Prior-model Guided Depth-enhanced Network for Salient Object Detection

Chunbiao Zhu, Xing Cai+3 more|arXiv (Cornell University)|Mar 23, 2018

Visual Attention and Saliency Detection参考文献 10被引用 15

一句话总结

PDNet 提出了一种基于先验模型引导、深度增强的全卷积网络，用于 RGB-D 显著性目标检测，采用在大规模 RGB 数据上预训练的主干网络和一个独立的子网络处理深度线索，实现了在五个基准数据集上的最先进性能，F-measure 分数在 LFSD 上达到 0.8805，在 NJU2000-TE 上达到 0.8503。

ABSTRACT

Fully convolutional neural networks (FCNs) have shown outstanding performance in many computer vision tasks including salient object detection. However, there still remains two issues needed to be addressed in deep learning based saliency detection. One is the lack of tremendous amount of annotated data to train a network. The other is the lack of robustness for extracting salient objects in images containing complex scenes. In this paper, we present a new architecture$ - $PDNet, a robust prior-model guided depth-enhanced network for RGB-D salient object detection. In contrast to existing works, in which RGB-D values of image pixels are fed directly to a network, the proposed architecture is composed of a master network for processing RGB values, and a sub-network making full use of depth cues and incorporate depth-based features into the master network. To overcome the limited size of the labeled RGB-D dataset for training, we employ a large conventional RGB dataset to pre-train the master network, which proves to contribute largely to the final accuracy. Extensive evaluations over five benchmark datasets demonstrate that our proposed method performs favorably against the state-of-the-art approaches.

研究动机与目标

• 解决用于显著性检测深度网络训练的标注 RGB-D 数据集数量有限的问题。
• 在 RGB 特征因外观相似而失效的复杂场景中提升模型鲁棒性。
• 通过使用独立的深度处理子网络，比直接拼接更有效地整合深度信息。
• 利用大规模 RGB 数据集预训练主干网络，在微调到 RGB-D 数据之前增强特征学习能力。
• 通过架构创新和有效的特征融合，在多个基准数据集上实现最先进性能。

提出的方法

• 在大规模 RGB 数据集（例如 ImageNet）上训练主干网络，以学习可泛化的特征，随后在 RGB-D 数据上进行微调。
• 设计一个独立的子网络，独立处理深度图，提取与深度相关的特征，而无需直接融合到主干流中。
• 在最终预测阶段使用带超参数 α 的加权融合策略，结合基于 RGB 的特征和深度增强的特征。
• 采用类似 U-Net 的编码器-解码器结构：编码器提取分层特征，解码器恢复空间分辨率以实现密集预测。
• 在编码器和解码器之间使用跳跃连接，以保留空间细节并改善边界定位。
• 使用先验模型引导机制，以稳定训练过程并提升主干网络中的特征表示能力。

实验结果

研究问题

• RQ1 在大规模 RGB 数据上预训练主干网络是否能显著提升在有限 RGB-D 显著性检测数据集上的性能？
• RQ2 通过专用子网络处理深度信息是否比将深度作为第四通道直接输入主网络获得更好的性能？
• RQ3 在具有相似纹理背景的复杂场景中，深度线索的整合如何影响检测精度？
• RQ4 如何最优地融合 RGB 和深度特征以最大化显著性图的质量？
• RQ5 所提出的架构是否能在多样化的 RGB-D 基准上实现泛化，并优于现有最先进方法？

主要发现

• 在 NJU2000-TE 数据集上，PDNet 的 F-measure 达到 0.8503，在 NLPR-TE 上达到 0.8478，优于所有对比方法，包括 CTMF17、DF17 和 TPF17。
• 在 LFSD 数据集上，PDNet 的 F-measure 达到 0.8805，MAE 为 0.0384，表明其在复杂场景中表现更优。
• 消融研究证实，RGB 数据上的预训练和独立的深度子网络均对性能有显著贡献，α=1 时结果最佳。
• 视觉对比显示，与竞争方法相比，PDNet 生成的显著性图更清晰，边界保持更佳，细节更丰富。
• 所有五个数据集的 PR 曲线均表明，PDNet 始终优于所有基线方法，尤其在高召回率区域表现更优。
• 该方法在所有五个基准数据集上均实现了稳定提升，表明其具备强大的泛化能力。