[论文解读] VXP: Voxel-Cross-Pixel Large-scale Image-LiDAR Place Recognition

Yun-Jin Li, Mariia Gladkova+3 more|arXiv (Cornell University)|Mar 21, 2024

Robotics and Sensor-Based Localization被引用 4

一句话总结

VXP 提出了一种自监督的体素-跨像素框架，通过将3D体素特征投影到2D图像空间，在共享嵌入空间中建立LiDAR点云与RGB图像之间的3D-2D特征对应关系，从而对齐模态特异性特征。该方法在Oxford RobotCar、ViViD++和KITTI基准上实现了最先进性能，优于以往的跨模态检索方法，且推理速度更快（图像7ms，点云18ms）。

ABSTRACT

Cross-modal place recognition methods are flexible GPS-alternatives under varying environment conditions and sensor setups. However, this task is non-trivial since extracting consistent and robust global descriptors from different modalities is challenging. To tackle this issue, we propose Voxel-Cross-Pixel (VXP), a novel camera-to-LiDAR place recognition framework that enforces local similarities in a self-supervised manner and effectively brings global context from images and LiDAR scans into a shared feature space. Specifically, VXP is trained in three stages: first, we deploy a visual transformer to compactly represent input images. Secondly, we establish local correspondences between image-based and point cloud-based feature spaces using our novel geometric alignment module. We then aggregate local similarities into an expressive shared latent space. Extensive experiments on the three benchmarks (Oxford RobotCar, ViViD++ and KITTI) demonstrate that our method surpasses the state-of-the-art cross-modal retrieval by a large margin. Our evaluations show that the proposed method is accurate, efficient and light-weight. Our project page is available at: https://yunjinli.github.io/projects-vxp/

研究动机与目标

• 解决2D图像与3D LiDAR点云之间跨模态全局地点识别的挑战，这些模态因模态差异而存在领域差距。
• 克服现有方法依赖预处理流程（如深度/距离图像转换）所导致的单模态性能下降和延迟增加的局限性。
• 开发一种自监督方法，无需标注的3D-2D对应关系，即可学习体素与像素之间的准确局部特征对应关系。
• 在低光照或动态光照等挑战性条件下实现鲁棒、实时的地点识别，此时单模态图像检索会失效。
• 设计一种两阶段训练流程，联合优化局部与全局描述符，以提升大规模场景下的检索准确性。

提出的方法

• 引入一个3D到2D的投影模块，利用相机内参基于几何投影将LiDAR点云中的3D体素特征映射到2D图像空间。
• 通过利用空间一致性和对比学习，在投影后的体素特征与图像像素之间建立自监督的2D-3D对应关系。
• 训练两个独立的编码器：一个用于RGB图像（如DINO ViT或ResNet），一个用于3D点云（如基于PointNet++的网络），两者均映射到共享特征空间。
• 采用两阶段优化：首先在匹配的体素-像素对上最小化局部描述符损失，然后在完整的图像-点云对上使用对比学习优化全局描述符损失。
• 在投影后的2D特征图上应用池化层（如GeM或NetVLAD）以生成全局图像描述符，而3D编码器输出全局LiDAR描述符。
• 利用视觉Transformer（如DINO ViT）的注意力图分析特征重要性，验证显著结构（如建筑物）在模态间的一致性关注。

实验结果

研究问题

• RQ1 自监督的3D-2D特征对应学习是否能在无标注监督的情况下有效弥合图像与LiDAR点云之间的领域差距？
• RQ2 两阶段训练策略（先优化局部描述符，再优化全局描述符）是否优于端到端训练，从而带来更好的跨模态检索性能？
• RQ3 直接处理原始图像和点云数据是否能优于需要预处理为2.5D表示（如深度图或距离图）的方法？
• RQ4 在白天/夜晚光照变化等多样化真实世界条件下，该方法的泛化能力如何，尤其是在单模态图像检索失效的情况下？
• RQ5 图像与投影体素特征之间注意力图的对齐程度在多大程度上表明了有效的跨模态特征学习？

主要发现

• VXP在Oxford RobotCar基准上实现了最先进性能，Recall@1达到85.30%，相比之前最先进方法绝对提升1.5%，优于$LC^{2}$和Cattaneo et al.等方法。
• 在ViViD++基准上，VXP取得84.7%的Recall@1，显著优于先前方法，证明了其在城市与乡村环境多样性下的强大泛化能力。
• 在KITTI里程计数据集上，VXP实现78.6%的Recall@1，表明其在不同驾驶条件下长期定位的大规模、长时序场景中具有鲁棒性。
• VXP实现快速推理速度——在单张RTX 3080上，图像仅需7ms，点云仅需18ms，优于$LC^{2}$（17ms和53ms），得益于高效的预处理和紧凑的模型规模（21.7M和5.9M参数）。
• 注意力图可视化结果表明，显著结构（如建筑物）在图像和投影体素特征中均获得高注意力，验证了有效的跨模态特征对齐。
• 消融实验表明，两阶段训练流程（先局部损失后全局损失）至关重要：若移除局部损失，Oxford RobotCar上的Recall@1将下降4.2%，证明其在学习准确对应关系中的关键作用。