[论文解读] Pose-GNN : Camera Pose Estimation System Using Graph Neural Networks

Ahmed Elmoogy, Xiaodai Dong+3 more|arXiv (Cornell University)|Mar 17, 2021

Robotics and Sensor-Based Localization参考文献 45被引用 5

一句话总结

该论文提出Pose-GNN，一种利用图神经网络（GNNs）提升定位精度的新型相机位姿估计系统，通过使用预训练的ResNet50特征实现。该方法提出两种策略——将图像建模为图中的节点（node-pose）或将图像特征视为图（graph-pose），并证明node-pose在使用ImageNet特征时于7 Scenes数据集上实现了最先进性能，位置误差中位数为0.18m，方向误差中位数为7.5°。

ABSTRACT

We propose a novel image based localization system using graph neural networks (GNN). The pretrained ResNet50 convolutional neural network (CNN) architecture is used to extract the important features for each image. Following, the extracted features are input to GNN to find the pose of each image by either using the image features as a node in a graph and formulate the pose estimation problem as node pose regression or modelling the image features themselves as a graph and the problem becomes graph pose regression. We do an extensive comparison between the proposed two approaches and the state of the art single image localization methods and show that using GNN leads to enhanced performance for both indoor and outdoor environments.

研究动机与目标

• 通过使用图神经网络而非传统回归头，提升单图像相机位姿估计的准确性。
• 探究将图像建模为图中的节点与将图像特征建模为图，哪种策略在位姿估计中表现更优。
• 评估不同预训练特征主干网络（ImageNet与Places）在室内与室外定位任务中的影响。
• 确定在不同环境中图构建时最优的邻居选择策略。
• 证明在使用GNN与预训练特征时，无需微调ResNet50主干网络。

提出的方法

• 从每个图像的预训练ResNet50网络的倒数第二层提取特征。
• 构建一个图，其中每个图像作为节点，通过特征相似性与最近邻连接。
• 在node-pose方法中，应用ConvGNN（图卷积网络）从节点特征回归相机位姿。
• 通过连接空间上相近的特征，将ResNet50的中间特征图表示为图，然后应用GNN进行图级别位姿回归。
• 使用均方误差损失端到端训练GNN以实现位姿回归。
• 使用不同的邻居数量（k）分析对室内与室外场景的敏感性及最优配置。

实验结果

研究问题

• RQ1 与标准回归头相比，使用图神经网络结合预训练特征是否能提升相机位姿估计的准确性？
• RQ2 将图像建模为图中的节点是否比将图像特征建模为图在位姿估计中更有效？
• RQ3 选择不同的预训练特征主干网络（ImageNet与Places）如何影响室内与室外环境下的性能表现？
• RQ4 在不同环境中，图构建的最优邻居数量是多少？
• RQ5 在使用GNN进行位姿估计时，能否避免微调ResNet50主干网络？

主要发现

• 在7 Scenes数据集上，node-pose方法优于所有最先进方法，使用ImageNet特征时，位置误差中位数为0.18m，方向误差中位数为7.5°。
• 在室外场景中，Places预训练特征表现更优，方向误差中位数达3.76°，优于其他方法（包括PN-L-W与LSTM）。
• graph-pose方法在7 Scenes数据集上仍优于所有其他方法，尽管其性能低于node-pose，尤其在室外环境中表现更弱。
• 室内场景受益于更高的邻居数量（如>35个邻居），而室外场景则在较少邻居（<10个）时表现最佳，原因在于图像间距离更大。
• 使用中心节点特征并赋予其与邻居不同的权重，可提升训练稳定性和性能。
• 系统在不微调ResNet50主干网络的情况下仍实现优异性能，验证了静态预训练特征与GNN结合的有效性。