[论文解读] Semantic Correspondence via 2D-3D-2D Cycle

Yang You, Chengkun Li+5 more|arXiv (Cornell University)|Apr 20, 2020

3D Shape Modeling and Analysis参考文献 65被引用 6

一句话总结

本文提出了一种用于语义对应任务的2D-3D-2D循环框架，通过利用3D重建和可微渲染来显式建模自遮挡和可见性，从而提升2D语义匹配性能。通过从单张RGB图像预测3D形状，将语义标签投影回2D，并利用可微渲染微调相机位姿，该方法在PF-PASCAL和SPair-71k等基准测试中取得了最先进性能，优于以往仅基于2D的方法。

ABSTRACT

Visual semantic correspondence is an important topic in computer vision and could help machine understand objects in our daily life. However, most previous methods directly train on correspondences in 2D images, which is end-to-end but loses plenty of information in 3D spaces. In this paper, we propose a new method on predicting semantic correspondences by leveraging it to 3D domain and then project corresponding 3D models back to 2D domain, with their semantic labels. Our method leverages the advantages in 3D vision and can explicitly reason about objects self-occlusion and visibility. We show that our method gives comparative and even superior results on standard semantic benchmarks. We also conduct thorough and detailed experiments to analyze our network components. The code and experiments are publicly available at https://github.com/qq456cvb/SemanticTransfer.

研究动机与目标

• 解决仅基于2D的语义对应方法在显式建模自遮挡与空间关系方面的局限性。
• 通过利用3D模型标注与合成2D渲染，减少对大规模2D图像数据集的依赖。
• 通过显式推理3D几何结构与可见性，提升语义对应任务的鲁棒性与可解释性。
• 证明3D中间表示可实现优于或媲美端到端2D学习的性能。

提出的方法

• 该方法使用受Wu等人[57]启发的3D重建头，从单张RGB图像预测3D形状与语义标签。
• 直接从2D图像估计相机视角，并利用在KeypointNet[62]上预训练的3D语义预测模型，为3D点分配语义标签。
• 采用可微渲染器，通过从2D监督反向传播，微调预测的相机位姿，以提升3D-2D投影的准确性。
• 该流程实现2D-3D-2D的特征迁移：2D图像 → 3D形状 → 3D语义标签 → 投影后的2D语义图。
• 在消融研究中，使用真实2.5D草图（轮廓、深度、法线）与3D模型，以隔离各组件的性能贡献。
• 通过从3D模型生成虚拟2D图像，降低对数据的依赖，并仅使用3D模型标注即可完成训练。

实验结果

研究问题

• RQ1 显式3D推理是否能通过更准确地建模自遮挡与可见性，使2D语义对应性能优于仅基于2D的方法？
• RQ2 在准确率与泛化能力方面，2D-3D-2D循环流程与端到端2D学习相比表现如何？
• RQ3 3D重建、视角估计与可微渲染等各组件对最终性能的贡献程度如何？
• RQ4 在合成数据集（如ShapeNet）与真实世界数据集（如Pix3D）之间存在领域差异时，该方法的鲁棒性如何？

主要发现

• 在PF-PASCAL基准上，该方法在α_img=0.1时对汽车的PCK达到0.574，对飞机的PCK为0.440，优于SOTA方法如HPF与A2Net。
• 在SPair-71k上，该方法对汽车的PCK为0.500，对飞机的PCK为0.390，展现出对先前方法的一致性优势。
• 将预测的视角替换为真实值后，PCK提升8.2%，表明相机位姿估计仍是主要瓶颈。
• 使用真实3D模型与语义标签时，汽车在PF-PASCAL上的PCK可达0.647，表明当3D阶段准确时，其效果极佳。
• 消融研究显示，包含所有组件的2D-3D-2D流程在Pix3D（椅子类，α_img=0.1）上达到0.560的PCK，显著优于仅基于2D的基线方法。
• 该方法在真实世界数据上的泛化能力优于合成数据集，其在Pix3D上的表现优于ShapeNet Synthetic，可能归因于相机分布更具现实感。