[论文解读] On the Performance of ConvNet Features for Place Recognition

Niko Sünderhauf, Feras Dayoub+3 more|arXiv (Cornell University)|Jan 17, 2015

Robotics and Sensor-Based Localization参考文献 28被引用 133

一句话总结

本论文通过利用最先进网络的分层特征，并结合局部敏感哈希（LSH）与语义搜索空间划分优化，首次实现了基于卷积神经网络（ConvNet）的实时、大规模场景识别系统。该方法在仅损失5%准确率的情况下实现了高达100倍的加速，表明在严重外观变化下，为场景分类预训练的网络模型在场景识别任务中优于为物体识别预训练的模型。

ABSTRACT

After the incredible success of deep learning in the computer vision domain, there has been much interest in applying Convolutional Network (ConvNet) features in robotic fields such as visual navigation and SLAM. Unfortunately, there are fundamental differences and challenges involved. Computer vision datasets are very different in character to robotic camera data, real-time performance is essential, and performance priorities can be different. This paper comprehensively evaluates and compares the utility of three state-of-the-art ConvNets on the problems of particular relevance to navigation for robots; viewpoint-invariance and condition-invariance, and for the first time enables real-time place recognition performance using ConvNets with large maps by integrating a variety of existing (locality-sensitive hashing) and novel (semantic search space partitioning) optimization techniques. We present extensive experiments on four real world datasets cultivated to evaluate each of the specific challenges in place recognition. The results demonstrate that speed-ups of two orders of magnitude can be achieved with minimal accuracy degradation, enabling real-time performance. We confirm that networks trained for semantic place categorization also perform better at (specific) place recognition when faced with severe appearance changes and provide a reference for which networks and layers are optimal for different aspects of the place recognition problem.

研究动机与目标

• 在机器人应用中实现实时、大规模的基于卷积神经网络特征的视觉场景识别。
• 评估不同卷积神经网络层与架构在严重外观与视角变化下的性能表现。
• 在不显著降低准确率的前提下优化计算效率，以支持实际部署。
• 探究为场景分类任务预训练的网络是否在场景识别任务中优于为物体识别预训练的网络。

提出的方法

• 利用三种最先进卷积神经网络（AlexNet、Places205 和 Hybrid）的分层特征，从多个网络层提取特征以增强鲁棒性。
• 应用局部敏感哈希（LSH）将特征向量压缩为128位汉明码，实现99.6%的数据压缩率，从而支持快速相似性搜索。
• 通过使用预训练分类器对每个语义类别（如“建筑”、“树木”）进行索引，实现语义搜索空间划分，最多可将搜索空间减少76%。
• 在哈希后的特征上通过汉明距离近似余弦距离，以加速最近邻搜索，同时保持高准确率。
• 采用多数据集评估协议，在四个真实世界数据集（Campus、Gardens Point、Nordland、St. Lucia）上进行测试，涵盖不同光照、天气和视角条件。
• 在受控条件下对比不同网络架构与特征层的性能表现，以分离出对外观与视角变化的鲁棒性。

实验结果

研究问题

• RQ1 卷积神经网络特征是否能够在仅造成轻微准确率损失的情况下实现实时、大规模的场景识别？
• RQ2 卷积神经网络的不同层（低层、中层、高层）在外观与视角变化下分别如何贡献于鲁棒性？
• RQ3 与为物体识别预训练的网络相比，为场景分类任务预训练的网络是否能提升场景识别性能？
• RQ4 语义搜索空间划分与哈希技术在多大程度上可降低计算成本而不降低识别准确率？

主要发现

• 通过基于LSH的哈希技术，实现了最高达两个数量级（100倍）的加速，特征压缩率达99.6%，同时保持原始识别性能的95%。
• 高层卷积神经网络特征（如conv3）编码了语义信息，可有效支持搜索空间划分，将最近邻搜索时间最多减少76%。
• 为场景分类任务预训练的网络（Places205 和 Hybrid）在外观变化挑战下表现优于为物体识别预训练的AlexNet，在Nordland春季与冬季对比中F-score达到0.71，而AlexNet为0.68。
• 中层特征（如conv3）对时间、天气和季节等外观变化表现出更强的鲁棒性，而顶层特征对视角变化更具鲁棒性。
• 语义搜索空间划分与LSH哈希的结合，使得在10万个已知场景中实现每秒3帧的实时场景识别成为可能。
• 识别性能与运行时间之间存在权衡：降低语义阈值可增加候选匹配数量与准确率，但会增加计算时间。