[论文解读] simCrossTrans: A Simple Cross-Modality Transfer Learning for Object Detection with ConvNets or Vision Transformers

Xiaoke Shen, Ioannis Stamos|arXiv (Cornell University)|Mar 20, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出 simCrossTrans，一种简单的跨模态迁移学习方法，通过在从点云生成的伪图像上微调预训练的2D模型（卷积神经网络或视觉Transformer），实现仅使用深度信息的3D单目目标检测。该方法在使用ViTs时相比基线方法mAP50提升16.1%，超越此前最先进方法15.4%，且仅与仅使用RGB的最先进方法相差1%。

ABSTRACT

Transfer learning is widely used in computer vision (CV), natural language processing (NLP) and achieves great success. Most transfer learning systems are based on the same modality (e.g. RGB image in CV and text in NLP). However, the cross-modality transfer learning (CMTL) systems are scarce. In this work, we study CMTL from 2D to 3D sensor to explore the upper bound performance of 3D sensor only systems, which play critical roles in robotic navigation and perform well in low light scenarios. While most CMTL pipelines from 2D to 3D vision are complicated and based on Convolutional Neural Networks (ConvNets), ours is easy to implement, expand and based on both ConvNets and Vision transformers(ViTs): 1) By converting point clouds to pseudo-images, we can use an almost identical network from pre-trained models based on 2D images. This makes our system easy to implement and expand. 2) Recently ViTs have been showing good performance and robustness to occlusions, one of the key reasons for poor performance of 3D vision systems. We explored both ViT and ConvNet with similar model sizes to investigate the performance difference. We name our approach simCrossTrans: simple cross-modality transfer learning with ConvNets or ViTs. Experiments on SUN RGB-D dataset show: with simCrossTrans we achieve $13.2\%$ and $16.1\%$ absolute performance gain based on ConvNets and ViTs separately. We also observed the ViTs based performs $9.7\%$ better than the ConvNets one, showing the power of simCrossTrans with ViT. simCrossTrans with ViTs surpasses the previous state-of-the-art (SOTA) by a large margin of $+15.4\%$ mAP50. Compared with the previous 2D detection SOTA based RGB images, our depth image only system only has a $1\%$ gap. The code, training/inference logs and models are publicly available at https://github.com/liketheflower/simCrossTrans

研究动机与目标

• 探索在低光照或隐私受限环境下，仅使用3D传感器的3D目标检测系统的性能上限。
• 通过迁移学习弥合2D RGB图像与3D点云之间的模态差距，以提升检测精度。
• 评估视觉Transformer（ViTs）在基于深度的3D目标检测中进行跨模态迁移学习时是否优于卷积神经网络（ConvNets）。
• 开发一种简单、可扩展且模块化的框架，复用现有的2D预训练模型，无需修改网络架构。

提出的方法

• 使用基于投影的转换方法将3D点云转换为伪2D图像，以实现与2D预训练模型的兼容性。
• 在伪2D深度图像上微调预训练的2D模型（ResNet-50和Swin-T），采用与2D视觉任务相同的训练流程。
• 对卷积神经网络和视觉Transformer主干网络使用相同的模型架构与超参数，以确保公平比较。
• 在微调后的主干网络之上应用标准的目标检测头，用于仅使用深度数据的推理。
• 利用2D ImageNet风格预训练所学习到的上下文与空间先验，提升仅使用3D数据的特征表示能力。
• 通过特征可视化与直方图分析，比较卷积神经网络与视觉Transformer在跨模态微调后的内部表征差异。

实验结果

研究问题

• RQ1 从2D RGB图像到3D深度图像的跨模态迁移学习是否能显著提升仅使用深度数据的系统中的目标检测性能？
• RQ2 在3D目标检测的跨模态迁移学习中，视觉Transformer与卷积神经网络相比表现如何？
• RQ3 通过伪图像转换与微调，预训练的2D模型在多大程度上能泛化到仅使用深度数据的任务上？
• RQ4 在源模态中使用自监督预训练是否能进一步提升目标模态中的迁移性能？

主要发现

• 当使用ResNet-50作为主干网络时，simCrossTrans相比基线方法mAP50绝对提升13.2%。
• 当使用Swin-T作为主干网络时，simCrossTrans实现16.1%的mAP50绝对提升，显著超越此前最先进方法15.4%。
• 在相同训练设置下，视觉Transformer在mAP50上比卷积神经网络高出9.7%，表明其在跨模态迁移中具有优越性。
• 该方法将仅使用深度数据与仅使用RGB数据的检测系统之间的性能差距缩小至仅1%的mAP50，表明其具有强大的泛化能力。
• 在laptop、keyboard和stool等困难类别上，simCrossTrans收益最大，表明2D预训练中的上下文先验有助于低信号场景下的检测。
• 特征可视化显示，与卷积神经网络的稀疏输出相比，视觉Transformer的特征图更密集且更具结构，表明注意力机制能实现更优的特征学习。