[论文解读] Part2Word: Learning Joint Embedding of Point Clouds and Text by Matching Parts to Words.

Chuan Yi Tang, Xi Yang+3 more|arXiv (Cornell University)|Jul 5, 2021

Human Pose and Action Recognition参考文献 41被引用 6

一句话总结

本文提出 Part2Word，一种通过在共享嵌入空间中将点云的分割部分与句子中的词汇匹配，学习联合 3D 形状-文本嵌入的方法。通过利用部件级特征和跨模态注意力机制，并结合三元组排序损失，该方法在标准基准上的多模态检索任务中取得了最先进性能。

ABSTRACT

It is important to learn joint embedding for 3D shapes and text in different shape understanding tasks, such as shape-text matching, retrieval, and shape captioning. Current multi-view based methods learn a mapping from multiple rendered views to text. However, these methods can not analyze 3D shapes well due to the self-occlusion and limitation of learning manifolds. To resolve this issue, we propose a method to learn joint embedding of point clouds and text by matching parts from shapes to words from sentences in a common space. Specifically, we first learn segmentation prior to segment point clouds into parts. Then, we map parts and words into an optimized space, where the parts and words can be matched with each other. In the optimized space, we represent a part by aggregating features of all points within the part, while representing each word with its context information, where we train our network to minimize the triplet ranking loss. Moreover, we also introduce cross-modal attention to capture the relationship of part-word in this matching procedure, which enhances joint embedding learning. Our experimental results outperform the state-of-the-art in multi-modal retrieval under the widely used benchmark.

研究动机与目标

• 解决多视角方法在学习 3D 形状-文本嵌入时因自遮挡和流形学习约束而带来的局限性。
• 通过聚焦 3D 形状的部件级语义而非全局视角，实现更精确的联合表示学习。
• 通过将点云的部件与句子中的单个词汇对齐，提升多模态检索和形状-文本匹配性能。
• 通过建模共享嵌入空间中部件-词汇关系的跨模态注意力机制，增强特征学习。
• 通过新颖的部件到词汇匹配范式，在标准基准上超越现有方法。

提出的方法

• 该方法首先利用学习到的分割先验将点云分割为部件，以提取部件级特征。
• 通过聚合每个部件内所有点的特征来表示该部件，从而捕捉局部几何结构。
• 使用上下文信息对句子中的词汇进行嵌入，以保留语义含义。
• 通过三元组排序损失优化共享嵌入空间，以最小化匹配部件-词汇对之间的距离。
• 引入跨模态注意力机制，在嵌入学习过程中动态建模部件与词汇之间的关系。
• 网络端到端训练，以对齐部件和词汇表示，同时保持其语义和几何一致性。

实验结果

研究问题

• RQ1 与基于视图的方法相比，部件级 3D 形状表示是否能提升联合嵌入学习？
• RQ2 将 3D 形状的单个部件与句子中的词汇匹配，在多模态检索中是否具有显著效果？
• RQ3 跨模态注意力在多大程度上改善了 3D 部件与文本词汇之间的对齐？
• RQ4 所提出的部件到词汇匹配策略是否优于现有的基于视图或全局形状-文本匹配方法？
• RQ5 结合部件和词汇特征的三元组排序损失是否能提升多模态检索任务中的泛化能力？

主要发现

• 所提出的 Part2Word 方法在多模态检索基准上实现了最先进性能，优于现有方法。
• 使用部件级分割相比多视角渲染方法，能够实现更鲁棒的 3D 形状表示。
• 跨模态注意力显著提升了部件与词汇之间的对齐，从而增强了联合嵌入质量。
• 三元组排序损失有效优化了嵌入空间，确保匹配的部件-词汇对比非匹配对更接近。
• 由于细粒度的部件到词汇对齐，该方法在形状-文本匹配和检索任务中表现出更优的泛化能力。
• 结果证实，部件级分析有效缓解了自遮挡和视图依赖性限制在 3D 形状理解中的问题。