[论文解读] Scan2CAD: Learning CAD Model Alignment in RGB-D Scans

Armen Avetisyan, Manuel Dahnert+4 more|arXiv (Cornell University)|Nov 27, 2018

3D Surveying and Cultural Heritage参考文献 39被引用 22

一句话总结

本文提出Scan2CAD，一种基于深度学习的方法，通过3D卷积神经网络预测2D对应热力图，并利用变分能量最小化优化9自由度位姿，实现将3D CAD模型对齐至噪声大、不完整的RGB-D扫描。该方法在包含14,225个CAD模型与ScanNet扫描图的97,607对标注关键点的新基准上，相比最先进方法提升21.39%。

ABSTRACT

We present Scan2CAD, a novel data-driven method that learns to align clean 3D CAD models from a shape database to the noisy and incomplete geometry of a commodity RGB-D scan. For a 3D reconstruction of an indoor scene, our method takes as input a set of CAD models, and predicts a 9DoF pose that aligns each model to the underlying scan geometry. To tackle this problem, we create a new scan-to-CAD alignment dataset based on 1506 ScanNet scans with 97607 annotated keypoint pairs between 14225 CAD models from ShapeNet and their counterpart objects in the scans. Our method selects a set of representative keypoints in a 3D scan for which we find correspondences to the CAD geometry. To this end, we design a novel 3D CNN architecture that learns a joint embedding between real and synthetic objects, and from this predicts a correspondence heatmap. Based on these correspondence heatmaps, we formulate a variational energy minimization that aligns a given set of CAD models to the reconstruction. We evaluate our approach on our newly introduced Scan2CAD benchmark where we outperform both handcrafted feature descriptor as well as state-of-the-art CNN based methods by 21.39%.

研究动机与目标

• 解决在室内场景中将干净、完整的CAD模型对齐至噪声大、不完整的RGB-D扫描的挑战。
• 克服由于真实扫描与合成CAD模型之间存在领域差异，导致手工设计几何特征与早期学习方法受限的问题。
• 开发一种数据驱动方法，以弥合真实扫描几何与合成CAD几何之间的分布差距。
• 构建大规模、高质量的数据集，以支持扫描到CAD对齐模型的训练与基准测试。
• 实现CAD模型在原始RGB-D扫描上进行准确、鲁棒的9自由度位姿估计，从而重建干净、完整的3D场景。

提出的方法

• 提出一种新颖的3D CNN架构，学习真实扫描几何与合成CAD模型之间的联合嵌入，以预测对应热力图。
• 在包含14,225个CAD模型（来自ShapeNet）与1,506个ScanNet扫描图之间97,607对关键点对应的新数据集上训练网络。
• 构建一种变分能量最小化目标函数，通过最小化预测热力图峰值与扫描关键点之间的距离，实现CAD模型对齐。
• 利用预测的对应热力图作为监督信号，优化9自由度位姿（3D平移与3D旋转）。
• 在优化过程中引入对称性、尺度与对应点（CP）先验，以提升鲁棒性与准确性。
• 采用可微分的渲染与优化流水线，实现对应预测与位姿优化的端到端联合训练。

实验结果

研究问题

• RQ1 尽管存在领域差异，深度学习模型是否能有效预测真实RGB-D扫描与合成CAD模型之间的可靠对应关系？
• RQ2 在合成与真实几何数据上联合训练的嵌入网络，相比手工设计特征，能否显著提升对应预测性能？
• RQ3 结合学习到的热力图，变分能量最小化在噪声大、不完整的扫描中，与传统ICP或基于特征的对齐方法相比，性能提升程度如何？
• RQ4 引入几何先验（对称性、尺度、对应点）对CAD模型对齐的鲁棒性与准确性有何影响？
• RQ5 所提方法在未提供真实CAD模型的非约束场景中是否具备良好的泛化能力？

主要发现

• 所提方法在Scan2CAD基准上实现31.68%的平均准确率，相比先前最先进方法（3DMatch）提升21.39%。
• 在完整先验（对称性、尺度、对应点）下，方法在沙发类上达到70.63%准确率，在椅子类上达到60.00%，展现出在复杂、对称物体上的优异性能。
• 方法在非约束场景中泛化能力出色：当提供400个来自ShapeNet的随机CAD模型时，实现35.64%的平均准确率，表明无需真实模型检索也能保持鲁棒性。
• 消融实验证实，加入对称性、尺度与对应点先验可显著提升性能，完整配置下达到35.64%的平均准确率。
• 基于3D CNN的对应预测性能优于手工描述子（FPFH、SHOT）与学习方法（如3DMatch），尤其在低纹理或不完整物体上表现更优。
• 即使仅固定1/3的预测对应点进行优化，该方法仍能取得最先进性能，表明热力图预测具有高度可靠性。