[论文解读] PiMAE: Point Cloud and Image Interactive Masked Autoencoders for 3D Object Detection

Anthony Chen, Kevin Zhang+5 more|arXiv (Cornell University)|Mar 14, 2023

3D Surveying and Cultural Heritage被引用 5

一句话总结

PiMAE 提出了一种自监督预训练框架，通过交互式掩码自编码器联合学习三维点云和二维RGB图像表征。通过引入互补的跨模态掩码、用于掩码标记的共享解码器以及跨模态重建，PiMAE 在大规模RGB-D基准上将3D目标检测性能提升2.9%，2D检测性能提升6.7%，少样本分类性能提升2.4%。

ABSTRACT

Masked Autoencoders learn strong visual representations and achieve state-of-the-art results in several independent modalities, yet very few works have addressed their capabilities in multi-modality settings. In this work, we focus on point cloud and RGB image data, two modalities that are often presented together in the real world, and explore their meaningful interactions. To improve upon the cross-modal synergy in existing works, we propose PiMAE, a self-supervised pre-training framework that promotes 3D and 2D interaction through three aspects. Specifically, we first notice the importance of masking strategies between the two sources and utilize a projection module to complementarily align the mask and visible tokens of the two modalities. Then, we utilize a well-crafted two-branch MAE pipeline with a novel shared decoder to promote cross-modality interaction in the mask tokens. Finally, we design a unique cross-modal reconstruction module to enhance representation learning for both modalities. Through extensive experiments performed on large-scale RGB-D scene understanding benchmarks (SUN RGB-D and ScannetV2), we discover it is nontrivial to interactively learn point-image features, where we greatly improve multiple 3D detectors, 2D detectors, and few-shot classifiers by 2.9%, 6.7%, and 2.4%, respectively. Code is available at https://github.com/BLVLab/PiMAE.

研究动机与目标

• 为解决真实世界感知任务中3D点云与2D图像之间缺乏有效的多模态自监督学习问题。
• 在简单融合或对比学习之外，提升跨模态特征对齐与交互，后者易受采样偏差或次优模态交互影响。
• 设计一种统一的预训练框架，实现下游3D与2D视觉任务的强联合表征学习。
• 证明交互式、掩码自编码机制结合显式的跨模态监督，可优于单模态或非交互式多模态预训练方法。

提出的方法

• 采用双分支掩码自编码器架构，分别处理点云和图像输入，包含模态特定的编码器以及用于掩码标记的共享解码器。
• 互补的跨模态掩码通过将点云标记投影到图像块以及反之，对齐点云与图像模态的可见与掩码标记。
• 共享解码器使两种模态的掩码标记在重建前实现互信息学习，随后由模态特定的解码器完成重建。
• 跨模态重建头强制点云特征重建图像特征或像素，增强语义对齐与特征丰富性。
• 模型在SUN RGB-D和ScanNetV2上使用掩码自编码目标进行预训练，随后在检测与少样本分类任务上进行微调。
• 该框架支持数据高效的微调，在标签数据有限时仍表现出强大性能。

实验结果

研究问题

• RQ1 掩码自编码器能否有效扩展至联合预训练3D点云与2D图像模态，以提升跨模态表征学习？
• RQ2 与随机或均匀掩码策略相比，互补跨模态掩码在特征对齐与性能提升方面有何优势？
• RQ3 在多模态MAE中，共享解码器对跨模态交互与表征质量有何影响？
• RQ4 跨模态重建在多大程度上增强特征学习与下游任务性能？
• RQ5 与单模态预训练相比，双模态联合预训练在下游泛化能力与数据效率方面表现如何？

主要发现

• 与基线方法相比，PiMAE在SUN RGB-D数据集上将3D目标检测的AP@25性能提升2.9%。
• 在相同基准上，该方法在2D目标检测性能上实现6.7%的提升，表明显著的跨模态协同效应。
• 在CIFAR-FS上的少样本图像分类任务中，PiMAE在5-way 1-shot设置下准确率提升2.4%，展现出更强的泛化能力。
• 互补掩码优于随机与均匀掩码，达到59.0的AP@25，表明对齐掩码可增强跨模态交互。
• 引入跨模态重建使AP@25相比仅使用模态特定重建的基线提升0.4%，证实其有效性。
• 当仅使用一个分支时，双分支联合预训练导致性能显著下降，证明双分支学习对跨模态理解的必要性。