[论文解读] PLA: Language-Driven Open-Vocabulary 3D Scene Understanding

Runyu Ding, Jihan Yang+4 more|arXiv (Cornell University)|Nov 29, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出PLA，一种基于语言驱动的开放词汇3D场景理解框架，利用视觉-语言基础模型从3D场景的多视角图像中生成语义丰富的描述。通过构建分层点-描述对并使用对比学习，PLA实现了对未见类别的零样本定位与识别，在ScanNet和S3IDS数据集上，hIoU提升25.8%–44.7%，hAP50提升14.5%–50.4%。

ABSTRACT

Open-vocabulary scene understanding aims to localize and recognize unseen categories beyond the annotated label space. The recent breakthrough of 2D open-vocabulary perception is largely driven by Internet-scale paired image-text data with rich vocabulary concepts. However, this success cannot be directly transferred to 3D scenarios due to the inaccessibility of large-scale 3D-text pairs. To this end, we propose to distill knowledge encoded in pre-trained vision-language (VL) foundation models through captioning multi-view images from 3D, which allows explicitly associating 3D and semantic-rich captions. Further, to foster coarse-to-fine visual-semantic representation learning from captions, we design hierarchical 3D-caption pairs, leveraging geometric constraints between 3D scenes and multi-view images. Finally, by employing contrastive learning, the model learns language-aware embeddings that connect 3D and text for open-vocabulary tasks. Our method not only remarkably outperforms baseline methods by 25.8% $\sim$ 44.7% hIoU and 14.5% $\sim$ 50.4% hAP$_{50}$ in open-vocabulary semantic and instance segmentation, but also shows robust transferability on challenging zero-shot domain transfer tasks. See the project website at https://dingry.github.io/projects/PLA.

研究动机与目标

• 解决开放词汇3D场景理解的挑战，即模型需识别训练标签空间之外的未见语义类别。
• 克服大规模3D-文本配对数据的缺乏，该问题阻碍了2D视觉-语言预训练方法向3D任务的直接迁移。
• 实现在真实3D场景中对新类别（包括同义词、抽象概念及未标注物体）的零样本泛化。
• 开发一种通用且可扩展的框架，利用预训练的视觉-语言模型将丰富的语义知识注入3D理解模型。
• 在无需任务特定架构修改的前提下，实现对域内与域外零样本迁移基准的稳健性能。

提出的方法

• 使用预训练的视觉-语言基础模型（如GPT-ViT2、OFA）从3D点云投影得到的多视角图像中生成语义丰富的描述。
• 利用3D场景与其2D投影之间的几何约束，构建分层点-描述对——场景级、视角级和实体级。
• 利用对比学习对齐3D点特征与对应描述嵌入，学习具备语言感知能力的视觉表征。
• 采用视觉-语言预训练的文本编码器（如CLIP）提取更具鲁棒性的文本嵌入，以捕捉视觉语义。
• 利用神经渲染或现有3D数据处理流程，获取与3D点云对齐的多视角RGB图像，用于描述生成。
• 端到端训练3D模型，基于分层点-描述对的对比损失，实现零样本泛化。

实验结果

研究问题

• RQ1 预训练的视觉-语言模型能否在无直接3D-文本监督的情况下，有效生成3D场景的语义丰富描述？
• RQ2 基于3D几何信息构建的分层点-描述对，如何提升3D中从粗到细的视觉-语义表征学习？
• RQ3 在3D-语言对上进行对比学习，能在多大程度上实现对未见类别的零样本识别？
• RQ4 所提出的框架能否在同时存在分布与类别偏移的域外数据集上实现泛化？
• RQ5 与人工标注或精选的描述相比，基础模型生成的描述在下游3D理解任务中的性能如何？

主要发现

• 在ScanNet和S3IDS数据集上，PLA在开放词汇语义分割任务中，hIoU相比基线方法提升25.8%至44.7%。
• 在实例分割任务中，PLA的hAP50相比基线提升14.5%至50.4%，展现出对新实例的强大泛化能力。
• 模型在零样本域迁移中表现良好，即使在数据分布与类别存在偏移的情况下，仅在ScanNet上训练后也能在S3IDS上取得优异表现。
• 使用CLIP作为文本编码器时，在新类别上的mIoU_N比BERT或GPT2高出7%以上，证实了视觉感知文本编码的优势。
• OFA等基础模型在描述生成上优于GPT-ViT2，使hIoU最高提升0.3个百分点，表明更优的描述模型具有更强的可扩展性。
• 模型能成功识别同义类别（如“couch”对应“sofa”）、抽象概念（如“bathroom”、“kitchen”）以及未标注物体（如“monitor”、“blackboard”），并生成高质量掩码。