[论文解读] Source-free Depth for Object Pop-out

Zongwei Wu, Danda Pani Paudel+6 more|arXiv (Cornell University)|Dec 10, 2022

Image Enhancement Techniques被引用 5

一句话总结

该论文提出了一种无源域自适应方法，利用3D '弹出'先验将深度知识迁移至语义分割，其中假设物体位于背景表面上。通过在无源数据的情况下从深度图中学习物体与背景之间的接触面，该方法实现了精确的物体定位和语义监督，在八个数据集上实现了显著和伪装物体检测的最先进性能，同时提升了泛化能力和效率。

ABSTRACT

Depth cues are known to be useful for visual perception. However, direct measurement of depth is often impracticable. Fortunately, though, modern learning-based methods offer promising depth maps by inference in the wild. In this work, we adapt such depth inference models for object segmentation using the objects' "pop-out" prior in 3D. The "pop-out" is a simple composition prior that assumes objects reside on the background surface. Such compositional prior allows us to reason about objects in the 3D space. More specifically, we adapt the inferred depth maps such that objects can be localized using only 3D information. Such separation, however, requires knowledge about contact surface which we learn using the weak supervision of the segmentation mask. Our intermediate representation of contact surface, and thereby reasoning about objects purely in 3D, allows us to better transfer the depth knowledge into semantics. The proposed adaptation method uses only the depth model without needing the source data used for training, making the learning process efficient and practical. Our experiments on eight datasets of two challenging tasks, namely camouflaged object detection and salient object detection, consistently demonstrate the benefit of our method in terms of both performance and generalizability.

研究动机与目标

• 在无法访问源训练数据的情况下，实现深度知识在不同域和不同任务之间的迁移。
• 解决当源域不同且标签为连续时，从深度模型向语义分割迁移知识的挑战。
• 仅使用无源深度预测，提升显著和伪装物体检测中的泛化能力和性能。
• 开发一种方法，利用物体'弹出'的3D组合先验，以提升3D推理能力和语义监督。
• 仅使用预训练深度模型实现有效的域自适应，避免数据隐私问题和传输低效。

提出的方法

• 该方法提出了一种新颖的网络架构，从无源深度图中联合学习物体弹出和接触面预测。
• 通过将物体建模为立于背景表面之上的方式，强制实施'弹出'先验，实现3D感知的物体-背景分离。
• 通过分割掩码的弱监督学习接触面，使模型能够推断3D空间中的物体边界。
• 物体弹出和接触面网络通过从深度图和接触面预测中衍生出的伪分割掩码进行端到端训练。
• 推理时仅使用预训练的深度模型，避免在自适应过程中依赖源数据。
• 该框架通过创建用于监督的中间3D感知表示，实现了从深度到语义的有效知识迁移。

Figure 1 : Depth to semantics conversion using the object pop-out prior. For input RGB and source-free depth pair, we learn contact surface. The obtained contact surface is then used to separate objects and backgrounds to derive pseudo semantics for supervision.

实验结果

研究问题

• RQ1 在无法访问源训练数据的情况下，能否有效将深度知识迁移至语义分割？
• RQ2 如何利用3D '弹出'先验在无源设置下提升物体定位和语义监督？
• RQ3 在低资源和域偏移场景下，学习物体与背景之间的接触面能否增强深度到语义的迁移？
• RQ4 该方法是否能在多样化的数据集和任务（如显著和伪装物体检测）中实现泛化？
• RQ5 当仅使用无源深度图时，该方法能否超越仅使用RGB或RGB-D基线的方法？

主要发现

• 所提方法在八个基准数据集上，针对两个具有挑战性的任务（显著物体检测SOD和伪装物体检测COD）均实现了最先进性能。
• 在NC4K数据集上，即使仅使用25%的数据进行训练，该方法仍将F-measure提升0.4%，S-measure提升0.1%，优于在完整数据上训练的基线方法。
• 在NC4K上，该方法实现了0.042的M-score和0.861的F-measure，超越了最佳仅RGB方法（ZoomNet）以及所有现有使用无源深度的RGB-D方法。
• 在HAINet上将F-measure误差降低0.011，在SPNet上降低0.010，证明了其强大的泛化能力和鲁棒性。
• 在多物体场景中，该方法保持高性能，NC4K上单物体F-measure达0.864，双物体为0.847，多于两个物体为0.767。
• 实验表明，现有RGB-D方法无法从无源深度中获益，而所提方法则显著超越它们，证明了其在真实世界域偏移场景下的有效性。

Figure 2 : The performance gained in F-measure using our method over the established baselines. Our method ( $\blacktriangle$ , $\blacksquare$ ) significantly improves baselines on 8 datasets and 2 tasks (each task on 4 datasets– SOD: left two; COD: right two). We also compare 24 methods ( $\bullet$