[论文解读] Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection

Runmin Cong, Hongyu Liu+5 more|arXiv (Cornell University)|Aug 17, 2023

Visual Attention and Saliency Detection被引用 6

一句话总结

该论文提出PICR-Net，一种结合CNN与Transformer的RGB-D显著目标检测架构，通过引入点感知的跨模态交互（CmPI）实现增强的特征融合，并采用CNN诱导的细化（CNNR）模块以缓解Transformer引起的细节损失。该方法在五个基准数据集上达到最先进性能，通过有效的全局建模与局部细节恢复，展现出卓越的准确率与边界保持能力。

ABSTRACT

By integrating complementary information from RGB image and depth map, the ability of salient object detection (SOD) for complex and challenging scenes can be improved. In recent years, the important role of Convolutional Neural Networks (CNNs) in feature extraction and cross-modality interaction has been fully explored, but it is still insufficient in modeling global long-range dependencies of self-modality and cross-modality. To this end, we introduce CNNs-assisted Transformer architecture and propose a novel RGB-D SOD network with Point-aware Interaction and CNN-induced Refinement (PICR-Net). On the one hand, considering the prior correlation between RGB modality and depth modality, an attention-triggered cross-modality point-aware interaction (CmPI) module is designed to explore the feature interaction of different modalities with positional constraints. On the other hand, in order to alleviate the block effect and detail destruction problems brought by the Transformer naturally, we design a CNN-induced refinement (CNNR) unit for content refinement and supplementation. Extensive experiments on five RGB-D SOD datasets show that the proposed network achieves competitive results in both quantitative and qualitative comparisons.

研究动机与目标

• 为解决现有RGB-D SOD方法在建模长距离依赖关系与保持细粒度细节方面的局限性。
• 通过利用RGB与深度模态之间的空间与全局显著性先验，改进跨模态特征交互。
• 缓解Transformer中自注意力机制常导致的块效应与细节退化问题。
• 通过可插拔的细化模块，结合Transformer的全局建模能力与CNN的局部感知能力。
• 通过新颖的架构设计，在多个RGB-D SOD基准上实现最先进性能。

提出的方法

• 提出一种点感知的跨模态交互（CmPI）模块，利用空间约束与全局引导向量，增强RGB与深度分支之间的特征交互。
• 在CmPI中引入两步注意力机制：首先，采用全局-局部引导的模态特定自注意力；其次，通过掩码抑制减少负面交互的跨模态注意力。
• 利用全局平均池化生成的全局引导向量 $g_r$ 和 $g_d$，为注意力计算提供先验知识。
• 设计一种可插拔的CNN诱导细化（CNNR）单元，通过轻量级卷积对最终显著图进行细化，恢复Transformer处理后丢失的细节。
• 采用基于Transformer的编码器-解码器主干网络进行全局上下文建模，并在最终解码阶段应用CNNR单元以保持局部结构。
• 采用基于窗口的注意力机制，具有自适应感受野，其中点感知（1×1）交互在效率与性能上均优于较大窗口（3×3、5×5）。

实验结果

研究问题

• RQ1 通过引入空间与全局显著性先验，点感知的跨模态交互机制是否能有效提升RGB与深度模态之间的特征融合？
• RQ2 在Transformer解码器后集成基于CNN的细化模块，是否能有效恢复自注意力操作中丢失的细粒度细节？
• RQ3 与标准的交叉注意力机制相比，所提出的CmPI模块在准确率与对误检的鲁棒性方面表现如何？
• RQ4 CNNR单元在多大程度上减少了块效应并改善了显著图的边界定位？
• RQ5 该混合CNN-Transformer架构是否在标准RGB-D SOD基准上优于纯CNN、纯Transformer及其他混合模型？

主要发现

• 完整PICR-Net模型在五个RGB-D SOD基准上达到最先进性能，NJU-Depth-2K数据集上平均F-measure达0.931，NLPR-Test数据集上达0.928。
• 消融实验表明，移除整个CmPI模块（w/o RM）导致性能显著下降，NJU-Depth-2K上MAE从0.029上升至0.035。
• CmPI中的两步注意力机制至关重要：仅移除第二步注意力（w/ single-step）使NJU-Depth-2K上的F-measure从0.931降至0.930。
• CmPI中的掩码约束 $M_1$ 与 $M_2$ 至关重要；若移除它们（w/o $M_1\&M_2$），NJU-Depth-2K上的F-measure下降至0.923。
• 将CmPI模块替换为$1\times1$卷积（id 15）后，所有指标性能均变差，证明CmPI在交互效率上优于简单逐点操作。
• 使用更大的注意力窗口（Win_3, Win_5）并未提升性能，反而增加计算成本，表明点感知（1×1）交互在此任务中为最优选择。