[论文解读] Self-supervisory Signals for Object Discovery and Detection

Etienne Pot, Alexander Toshev+1 more|ArXiv.org|Jun 8, 2018

Robot Manipulation and Learning参考文献 22被引用 7

一句话总结

本文提出一种基于机器人自运动与深度感知的自监督框架，从无标注图像中学习物体表征，实现通过聚类进行无监督物体发现，以及仅需极少人工标注的少样本物体检测。该方法在少样本检测中达到 0.46 的平均精度均值（mAP），显著优于在相同数据上微调的标准检测器（仅达到 0.38 mAP）。

ABSTRACT

In robotic applications, we often face the challenge of discovering new objects while having very little or no labelled training data. In this paper we explore the use of self-supervision provided by a robot traversing an environment to learn representations of encountered objects. Knowledge of ego-motion and depth perception enables the agent to effectively associate multiple object proposals, which serve as training data for learning object representations from unlabelled images. We demonstrate the utility of this representation in two ways. First, we can automatically discover objects by performing clustering in the learned embedding space. Each resulting cluster contains examples of one instance seen from various viewpoints and scales. Second, given a small number of labeled images, we can efficiently learn detectors for these labels. In the few-shot regime, these detectors have a substantially higher mAP of 0.22 compared to 0.12 of off-the-shelf standard detectors trained on this limited data. Thus, the proposed self-supervision results in effective environment specific object discovery and detection at no or very small human labeling cost.

研究动机与目标

• 解决在缺乏或仅有极少标注训练数据的机器人环境中检测新物体的挑战。
• 利用自监督的自运动与深度感知，学习无需人工标注的鲁棒物体表征。
• 通过在学习到的表征空间中对物体嵌入进行聚类，实现无监督物体发现。
• 开发仅需实例级标签而非边界框标注的高效少样本物体检测方法。
• 通过用聚类级标签替代边界框标注，降低机器人部署中的人工标注成本。

提出的方法

• 在机器人探索过程中，使用类别无关的区域建议网络（RPN）从无标注图像中生成物体建议。
• 利用自运动与深度线索，在帧间建立物体建议之间的对应关系，形成自监督的正样本对。
• 通过距离度量学习损失训练 Faster R-CNN 检测器，以在共享特征空间中学习判别性物体嵌入。
• 在学习到的嵌入空间中进行聚类，以发现新物体实例，将同一物体的不同视角与尺度归为一类。
• 训练两种检测模型：SSOD-Cluster 使用聚类级标签对 Faster R-CNN 进行微调；SSOD-Dist 基于嵌入的最近邻分类进行检测。
• 在 SSOD-Dist 中使用固定 RPN 生成建议，以降低训练成本，并实现在最小监督下的快速推理。

实验结果

研究问题

• RQ1 能否通过机器人运动与深度感知的自监督，实现无需任何人工标注边界框的有效物体表征学习？
• RQ2 能否在学习到的嵌入空间中通过聚类，自动从无标注数据中发现新物体实例？
• RQ3 能否仅使用每类一个聚类的实例级标签，而非边界框标注，显著提升少样本物体检测性能？
• RQ4 所提出的自监督检测模型在性能上是否显著优于在相同少量标注样本上微调的标准检测器？
• RQ5 基于最近邻的检测方法（SSOD-Dist）的失败案例主要由哪些因素导致，这些因素如何影响泛化能力？

主要发现

• SSOD-Cluster 在测试集上达到 0.46 的平均精度均值（mAP），优于在相同数据上微调的标准 Faster R-CNN（mAP 为 0.38）。
• 在仅每类 5 个训练样本的少样本设置下，SSOD-Dist 达到 0.277 的 mAP，而标准 Faster R-CNN 为 0.256，表明在低监督条件下具有更优的泛化能力。
• 当每类仅提供一个训练样本时，SSOD-Dist 达到 0.226 的 mAP，而标准 Faster R-CNN 仅为 0.120，显示出在零样本与少样本检测中的显著提升。
• 该方法在每个环境中平均发现 170 个聚类，每个聚类代表一个独立的物体实例，实现了可扩展且低成本的物体发现。
• SSOD-Dist 的失败案例主要源于物体间形状、纹理、颜色或空间位置的相似性，导致错误的最近邻匹配。
• 当所有 5000 张训练图像均被标注时，性能上限为 0.40 mAP，表明该方法在全监督条件下已接近最优性能。