[论文解读] Towards 3D Scene Understanding by Referring Synthetic Models

Runnan Chen, Xinge Zhu+6 more|arXiv (Cornell University)|Mar 20, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出引用迁移学习（RTL），一种通过将合成3D模型的知识迁移到真实世界扫描中，从而在无需真实场景标注的情况下实现3D场景理解的方法。该方法引入了物理数据对齐与凸包正则化特征对齐，以弥合模型到场景以及合成到真实域之间的差距，在仅使用ModelNet中的合成模型的情况下，于ScanNet和S3DIS数据集上分别实现了46.08%和55.49%的mAP。

ABSTRACT

Promising performance has been achieved for visual perception on the point cloud. However, the current methods typically rely on labour-extensive annotations on the scene scans. In this paper, we explore how synthetic models alleviate the real scene annotation burden, i.e., taking the labelled 3D synthetic models as reference for supervision, the neural network aims to recognize specific categories of objects on a real scene scan (without scene annotation for supervision). The problem studies how to transfer knowledge from synthetic 3D models to real 3D scenes and is named Referring Transfer Learning (RTL). The main challenge is solving the model-to-scene (from a single model to the scene) and synthetic-to-real (from synthetic model to real scene's object) gap between the synthetic model and the real scene. To this end, we propose a simple yet effective framework to perform two alignment operations. First, physical data alignment aims to make the synthetic models cover the diversity of the scene's objects with data processing techniques. Then a novel extbf{convex-hull regularized feature alignment} introduces learnable prototypes to project the point features of both synthetic models and real scenes to a unified feature space, which alleviates the domain gap. These operations ease the model-to-scene and synthetic-to-real difficulty for a network to recognize the target objects on a real unseen scene. Experiments show that our method achieves the average mAP of 46.08\% and 55.49\% on the ScanNet and S3DIS datasets by learning the synthetic models from the ModelNet dataset. Code will be publicly available.

研究动机与目标

• 通过利用合成3D模型而非真实场景标注，减少3D场景理解中的标注负担。
• 解决模型到场景的泛化差距，即网络在单个模型上进行训练，却需在复杂、拥挤的场景中进行推理。
• 缓解由合成模型与真实扫描之间几何和分布差异引起的合成到真实域差距。
• 通过将合成模型的知识迁移到真实场景，实现对未见物体类别的零样本识别。
• 开发一种简单但高效的框架，支持下游3D感知任务中的高效知识迁移。

提出的方法

• 物理数据对齐通过应用数据增强技术——旋转、缩放、裁剪以及与场景点混合——使合成模型更能代表真实世界中的物体变化。
• 提出一种新颖的凸包正则化特征对齐模块，通过可学习原型将点特征投影到统一特征空间，形成凸包，从而减少域偏移。
• 可学习原型作为基础结构元素，定义了一个紧凑且封闭的特征空间，确保不同域之间特征分布受到约束并可比。
• 使用对比学习，将合成模型作为正样本对，其他合成模型作为负样本，以提升特征泛化能力。
• 框架采用Minkowski U-Net主干网络，并结合温度控制的注意力机制，以优化特征对齐并提高鲁棒性。
• 该方法被设计为一种掩码预训练任务，可在下游3D语义分割任务中带来性能提升。

实验结果

研究问题

• RQ1 神经网络能否仅使用标注的合成3D模型而无需真实场景标注，在未见过的真实3D场景中识别特定物体类别？
• RQ2 如何有效缓解模型到场景差距，即在孤立物体上训练的模型泛化到复杂、杂乱场景的问题？
• RQ3 在合成与真实域之间进行特征对齐，在多大程度上能减少3D语义分割中的合成到真实域偏移？
• RQ4 哪些数据增强策略最能模拟合成模型中真实世界物体的变化，以提升泛化能力？
• RQ5 所提出的方法能否泛化到合成训练集中未出现的未见物体类别？

主要发现

• 所提出的RTL框架在仅使用ModelNet中的合成模型、无真实场景标注的情况下，于ScanNet数据集上实现了46.08%的mAP，在S3DIS数据集上实现了55.49%的mAP。
• 物理数据对齐相比基线方法使mAP提升了31.26%，其中随机缩放和旋转对性能至关重要。
• 若不使用数据增强（noDA），mAP下降至23.44%，凸显了真实感数据增强在域泛化中的重要性。
• 将场景点用作对比学习的负样本会将性能降至23.04%的mAP，表明此类伪影会阻碍泛化能力。
• 在物理数据对齐基线基础上加入凸包正则化特征对齐模块，可使mAP提升约4%。
• 最优原型数量为128，将温度超参数λ设为0.5时性能最佳，消融实验表明该方法对这些超参数较为敏感。