[论文解读] Unsupervised Place Discovery for Visual Place Classification

Fei Xiaoxiao, Kanji Tanaka+1 more|arXiv (Cornell University)|Dec 21, 2016

Geographic Information Systems Studies被引用 3

一句话总结

本文提出了一种无监督的工作空间分割策略——时间、位置、时序-外观以及位置-外观线索，利用深度卷积神经网络（DCNNs）实现机器人制图中的视觉地点分类的地点类别发现。通过利用预训练的DCNN特征和聚类方法，位置-外观和时序-外观策略在NCLT数据集上取得了最高的准确率（39.4%的top-1准确率），显著优于基线方法，有效将视觉和空间上相似的区域分组，且无需预先标注。

ABSTRACT

In this study, we explore the use of deep convolutional neural networks (DCNNs) in visual place classification for robotic mapping and localization. An open question is how to partition the robot's workspace into places to maximize the performance (e.g., accuracy, precision, recall) of potential DCNN classifiers. This is a chicken and egg problem: If we had a well-trained DCNN classifier, it is rather easy to partition the robot's workspace into places, but the training of a DCNN classifier requires a set of pre-defined place classes. In this study, we address this problem and present several strategies for unsupervised discovery of place classes ("time cue," "location cue," "time-appearance cue," and "location-appearance cue"). We also evaluate the efficacy of the proposed methods using the publicly available University of Michigan North Campus Long-Term (NCLT) Dataset.

研究动机与目标

• 解决视觉地点分类中的鸡肋问题：训练DCNN需要预定义的地点类别，但定义类别又需要已训练的分类器。
• 探索利用可用线索（时间、位置和来自预训练DCNN的外观）对机器人工作空间进行无监督分区，以形成有意义的地点区域。
• 通过无人工标注标签发现最优地点类别边界，提升基于DCNN的视觉地点分类性能。
• 在真实世界条件下，利用公开的密歇根大学NCLT数据集评估不同线索组合的有效性。

提出的方法

• 使用在ImageNet上预训练的AlexNet作为特征提取器，并在NCLT数据集上微调以用于视觉地点分类。
• 从DCNN的第6个全连接层提取4,096维特征作为图像表示，用于聚类。
• 对图像特征应用k-means聚类以形成初始聚类，然后利用时间或位置线索对聚类进行细化，以定义地点类别。
• 将时间（时间）或空间（位置）线索与DCNN的外观特征结合，形成混合策略：时序-外观和位置-外观。
• 利用真实姿态数据（GPS、IMU）定义时间与空间阈值（20°方向角，18m距离），以确定有效测试图像。
• 通过迁移学习训练并评估DCNN，将最后一层的softmax替换为与发现的地点聚类数量相匹配的类别数。

实验结果

研究问题

• RQ1 能否通过时间、空间或外观线索引导的无监督聚类，有效将机器人工作空间划分为对视觉地点分类有意义的地点类别？
• RQ2 将来自预训练DCNN的外观特征与时间或位置线索结合，如何提升下游DCNN分类器的性能？
• RQ3 在真实世界长期数据集中，时间、位置或外观的哪种线索组合能实现最高的视觉地点分类准确率？
• RQ4 使用预训练DCNN特征在多大程度上减少了地点分类任务中对手动标注的需求？
• RQ5 所提出的策略在机器人速度变化、环境条件差异以及训练与测试数据间视角差异的情况下，其鲁棒性如何？

主要发现

• 时序-外观线索策略在NCLT数据集上取得了最高的top-1归一化得分（1.664%）和top-5准确率（41.0%），优于所有其他策略。
• 位置-外观策略实现了39.4%的top-1准确率和1.664%的归一化得分，表明外观特征显著提升了空间聚类效果。
• 位置线索策略优于时间线索策略，top-5准确率分别为33.6%和31.6%，表明空间一致性比时间一致性更可靠，适用于聚类。
• 时序-外观策略将损失降低至3.71，为所有方法中最低，表明在微调过程中具有更好的收敛性和泛化能力。
• 尽管面临大规模地点发现（如675个类别）的挑战，所提策略的成功率依然很高，显示出在复杂、长期环境中的鲁棒性。
• 来自预训练DCNN的外观特征提供了强有力的归纳偏置，使得聚类结果在语义上更一致且更具判别性，优于单独使用时间或位置线索。