[论文解读] OpenIns3D: Snap and Lookup for 3D Open-vocabulary Instance Segmentation

Zhening Huang, Xiaoyang Wu+4 more|arXiv (Cornell University)|Sep 1, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

OpenIns3D 提出了一种无需2D图像输入的3D开放词汇实例分割框架，通过“掩码-对齐-查找”（Mask-Snap-Lookup）流程实现：它从3D点云中生成与类别无关的掩码提议，为2D视觉-语言模型合成多尺度场景图像，并通过Mask2Pixel对应关系将结果映射回3D。该方法在室内和室外基准上均实现了最先进性能，可无缝集成先进的2D模型（如ODISE和LISA）而无需微调。

ABSTRACT

In this work, we introduce OpenIns3D, a new 3D-input-only framework for 3D open-vocabulary scene understanding. The OpenIns3D framework employs a "Mask-Snap-Lookup" scheme. The "Mask" module learns class-agnostic mask proposals in 3D point clouds, the "Snap" module generates synthetic scene-level images at multiple scales and leverages 2D vision-language models to extract interesting objects, and the "Lookup" module searches through the outcomes of "Snap" to assign category names to the proposed masks. This approach, yet simple, achieves state-of-the-art performance across a wide range of 3D open-vocabulary tasks, including recognition, object detection, and instance segmentation, on both indoor and outdoor datasets. Moreover, OpenIns3D facilitates effortless switching between different 2D detectors without requiring retraining. When integrated with powerful 2D open-world models, it achieves excellent results in scene understanding tasks. Furthermore, when combined with LLM-powered 2D models, OpenIns3D exhibits an impressive capability to comprehend and process highly complex text queries that demand intricate reasoning and real-world knowledge. Project page: https://zheninghuang.github.io/OpenIns3D/

研究动机与目标

• 在无法获取2D图像或2D图像与3D点云未对齐的场景中，实现3D开放词汇实例分割。
• 克服现有3D开放词汇方法依赖于良好对齐的2D-3D数据对的局限性。
• 开发一种灵活的框架，利用强大的预训练2D视觉-语言模型，而无需对3D输入进行微调。
• 仅使用3D点云作为输入，实现高质量的3D实例分割，同时保持对复杂、推理密集型文本查询的兼容性。

提出的方法

• 掩码模块使用掩码提议模块（MPM）从3D点云中生成与类别无关的掩码提议，训练过程中无需类别标签。
• 掩码评分模块评估掩码质量，掩码过滤技术用于移除低质量或碎片化的提议。
• 对齐模块使用优化的相机位姿和内参参数，在多个尺度上合成覆盖所有掩码提议的场景级2D图像。
• 2D开放词汇模型（如ODISE、LISA）处理合成图像，检测并分类物体，生成包含类别和像素位置信息的类别查找表（CLT）。
• 查找模块利用预先计算的Mask2Pixel映射，将3D掩码提议投影到合成2D图像上，通过空间对应关系实现精确的类别分配。
• 该框架模块化设计，支持与任意2D检测器或视觉-语言模型无缝集成，无需微调3D主干网络。

实验结果

研究问题

• RQ1 能否在不依赖2D图像输入或2D-3D对齐的情况下实现3D开放词汇实例分割？
• RQ2 在缺乏成对2D图像的情况下，如何有效将强大2D视觉-语言模型的能力迁移至3D点云？
• RQ3 一种灵活的、无需2D输入的框架能否在多样化的3D基准上实现最先进性能？
• RQ4 该框架的性能如何随着底层2D模型的推理与泛化能力而变化？
• RQ5 即使缺乏2D监督，该框架能否处理需要世界知识和推理能力的复杂、开放式的文本查询？

主要发现

• OpenIns3D 在室内（S3DIS、ScanNetv2）和室外（STPLS3D）数据集上均实现了开放词汇实例分割的最先进性能，显著优于先前方法。
• 在S3DIS数据集上，使用ODISE时平均掩码AP达到39.5%，使用LISA时达到41.8%，显著超越此前最先进方法。
• 在ScanNetv2上，使用ODISE时平均掩码AP为38.7%，使用LISA时为40.1%，展现出跨领域的强大泛化能力。
• 当与LISA集成时，OpenIns3D 成功处理了如“在蓝色垃圾桶附近找到红色自行车”等复杂、推理密集型查询，表现出稳健的零样本泛化能力。
• 即使在小尺寸或稀疏的掩码区域，该框架仍保持高性能，尽管在极小或碎片化的点云区域性能略有下降。
• 该方法支持与新2D模型的无缝切换——从ODISE切换到LISA无需重新训练，凸显其模块化与适应性。