[论文解读] Point-Bind & Point-LLM: Aligning Point Cloud with Multi-modality for 3D Understanding, Generation, and Instruction Following

Z. J. Guo, Renrui Zhang+9 more|arXiv (Cornell University)|Sep 1, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出 Point-Bind，一种3D多模态框架，通过 ImageBind 引导的联合嵌入空间，将点云与图像、文本、音频和视频对齐。在此基础上，提出 Point-LLM，作为首个支持双语（英语/中文）指令跟随的3D大语言模型，通过参数高效微调，无需任何3D指令数据，实现了最先进的3D零样本分类性能和卓越的多模态问答能力。

ABSTRACT

We introduce Point-Bind, a 3D multi-modality model aligning point clouds with 2D image, language, audio, and video. Guided by ImageBind, we construct a joint embedding space between 3D and multi-modalities, enabling many promising applications, e.g., any-to-3D generation, 3D embedding arithmetic, and 3D open-world understanding. On top of this, we further present Point-LLM, the first 3D large language model (LLM) following 3D multi-modal instructions. By parameter-efficient fine-tuning techniques, Point-LLM injects the semantics of Point-Bind into pre-trained LLMs, e.g., LLaMA, which requires no 3D instruction data, but exhibits superior 3D and multi-modal question-answering capacity. We hope our work may cast a light on the community for extending 3D point clouds to multi-modality applications. Code is available at https://github.com/ZiyuGuo99/Point-Bind_Point-LLM.

研究动机与目标

• 开发一个统一框架，将3D点云与多种模态（图像、文本、音频、视频）对齐，以增强3D理解与生成能力。
• 解决现有3D模型在训练期间受单一或有限模态限制的局限性。
• 实现任意模态到3D的生成，即从任意模态输入（文本、图像、音频或点云）生成3D形状。
• 支持3D嵌入空间的算术运算，实现3D与其他模态之间的语义组合。
• 构建首个能够使用通用视觉-语言数据（而非3D特定指令数据）实现双语（英语/中文）指令跟随的3D大语言模型（Point-LLM）。

提出的方法

• Point-Bind 使用对比学习构建3D点云与多模态之间的联合嵌入空间，由 ImageBind 的冻结编码器引导。
• 可训练的3D编码器（如 I2P-MAE）从点云中提取特征，通过对比损失与 ImageBind 的冻结多模态特征对齐。
• 通过计算3D嵌入与预训练文本编码器生成的文本嵌入之间的余弦相似度，实现零样本3D开放世界理解。
• 对于任意模态到3D的生成，该方法在预训练生成解码器中用 Point-Bind 的多模态编码器替换 CLIP 的文本编码器，实现任意模态的条件生成。
• Point-LLM 通过绑定网络和视觉缓存将 Point-Bind 与预训练的 LLaMA 模型融合，采用零初始化门控机制实现参数高效微调。
• Point-LLM 的训练仅使用公开的视觉-语言数据集，无需3D指令数据，支持英语和中文的跨模态推理。

实验结果

研究问题

• RQ1 能否在3D点云与图像、文本、音频、视频等多种模态之间构建统一的联合嵌入空间？
• RQ2 这种对齐是否能实现任意模态到3D的生成，即从音频或点云等多样化模态生成3D形状？
• RQ3 能否通过算术运算将3D特征与其它模态嵌入有意义地组合，以实现组合式跨模态检索？
• RQ4 能否在不使用3D指令数据的情况下，仅依赖通用视觉-语言数据有效训练3D大语言模型，实现指令跟随？
• RQ5 该联合多模态表示是否能实现最先进的零样本3D分类与开放世界理解，包括基于音频的识别？

主要发现

• Point-Bind 在 ModelNet40 上实现了78.00%的SOTA 3D零样本分类准确率，优于先前方法。
• 消融研究显示，使用两个线性层进行投影并结合自监督3D编码器（如 I2P-MAE）可获得最佳性能。
• 3D嵌入算术运算可有效实现组合式跨模态检索，例如通过组合3D狗与海浪音频嵌入，检索出海边的狗的图像。
• 通过相同的生成解码器，成功实现了从文本、图像、音频和点云提示生成高质量3D网格的任意模态到3D生成。
• Point-LLM 尽管未使用任何3D指令数据进行训练，但在英语和中文的3D及多模态问答中均表现出卓越性能。
• 该模型在3D开放世界理解方面展现出强大的涌现能力，包括罕见的基于音频的3D识别。