[论文解读] Relative Camera Pose Estimation Using Convolutional Neural Networks
该论文提出了一种端到端的卷积神经网络（CNN），利用双目RGB图像作为输入，直接回归相对旋转和平移。该方法采用孪生网络结构并结合空间金字塔池化（SPP），在纹理缺失或反光场景下相比传统基于特征的方法（如SURF和ORB）表现更优，且高分辨率输入进一步提升了精度。
This paper presents a convolutional neural network based approach for estimating the relative pose between two cameras. The proposed network takes RGB images from both cameras as input and directly produces the relative rotation and translation as output. The system is trained in an end-to-end manner utilising transfer learning from a large scale classification dataset. The introduced approach is compared with widely used local feature based methods (SURF, ORB) and the results indicate a clear improvement over the baseline. In addition, a variant of the proposed architecture containing a spatial pyramid pooling (SPP) layer is evaluated and shown to further improve the performance.
研究动机与目标
- 开发一种基于深度学习的方法，用于在不依赖手工设计局部特征的情况下，估计两视图之间的相对相机位姿。
- 评估孪生CNN架构在纹理缺失表面和大视角变化等挑战性场景下进行相对位姿估计的有效性。
- 研究训练数据分布和图像分辨率对位姿估计精度的影响。
- 探索空间金字塔池化（SPP）在提升宽基线图像对泛化能力与性能方面的优势。
- 在标准基准数据集上，将所提出的CNN方法与成熟的局部特征基于方法（如SURF、ORB）进行比较。
提出的方法
- 模型采用共享权重的孪生CNN架构，分别处理双目图像对中的左、右RGB图像。
- 最后几层为全连接层，从融合的特征图中回归相对位姿（旋转和平移）。
- 集成空间金字塔池化（SPP）层，以实现多尺度特征表示，并提升对尺度变化的鲁棒性。
- 使用回归损失进行端到端训练，损失函数为预测位姿与真实位姿之间的欧氏距离。
- 通过在大规模Landmarks数据集上进行预训练，再在DTU数据集上微调，应用迁移学习。
- 在训练和推理过程中使用高分辨率图像（1600×1200），以提升性能，尤其在细粒度位姿估计方面。
实验结果
研究问题
- RQ1孪生CNN架构能否以端到端方式有效估计双目RGB图像的相对相机位姿？
- RQ2引入空间金字塔池化（SPP）如何影响相对位姿估计的精度？
- RQ3与低分辨率输入相比，使用高分辨率图像训练在多大程度上提升了性能？
- RQ4在纹理缺失或反光表面等挑战性场景下，所提出的基于CNN的方法与传统局部特征方法（如SURF、ORB）相比表现如何？
- RQ5在DTU数据集的子集上进行微调是否能提升在相同数据集上测试时的性能？
主要发现
- 所提出的基于CNN的方法在纹理缺失或反光场景下，显著优于SURF和ORB，尤其在特征匹配失败时。
- 基于SPP的变体（cnn-spp）在所有CNN模型中表现最佳，尤其在使用高分辨率图像（1600×1200）进行训练和测试时。
- 在DTU数据集子集上对预训练模型进行微调后，性能优于仅使用Landmarks数据集训练的结果。
- 高分辨率训练与推理显著提升了相对位姿估计的精度，尤其在姿态方向估计方面，cnn-spp模型表现最强。
- 尽管在平均情况下，CNN方法在估计平移时略逊于基于特征的方法，但在SURF和ORB无法检测到足够内点的困难情况下，其表现更优。
- 结果表明，基于深度学习的回归方法能够有效应对传统基于特征的方法难以处理的复杂光照与几何条件。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。