[论文解读] Target Driven Instance Detection

Phil Ammirato, Cheng-Yang Fu+3 more|arXiv (Cornell University)|Mar 13, 2018

Advanced Neural Network Applications参考文献 48被引用 17

一句话总结

本文提出目标驱动实例检测（TDID），一种新颖方法，通过学习目标物体图像与场景中特征之间的联合嵌入，以比较方式增强最先进目标检测器在实例级识别中的性能。TDID 在无需微调或重新训练的情况下，对未见实例表现出强大性能，在 AVD 和 GMU 厨房等挑战性数据集上优于通用检测器和传统识别方法。

ABSTRACT

While state-of-the-art general object detectors are getting better and better, there are not many systems specifically designed to take advantage of the instance detection problem. For many applications, such as household robotics, a system may need to recognize a few very specific instances at a time. Speed can be critical in these applications, as can the need to recognize previously unseen instances. We introduce a Target Driven Instance Detector(TDID), which modifies existing general object detectors for the instance recognition setting. TDID not only improves performance on instances seen during training, with a fast runtime, but is also able to generalize to detect novel instances.

研究动机与目标

• 解决在仅提供少量训练样本的情况下，在真实机器人应用中检测特定物体实例的挑战。
• 在无需微调或重新训练的情况下，实现对新型、此前未见物体实例的泛化能力。
• 提升在家庭和机器人环境中小尺寸、遮挡或杂乱物体实例上的检测性能。
• 利用深度学习实现实例检测，同时保持快速推理速度，适用于实时机器人应用。
• 通过直接建模实例独特性，弥合类别级检测与实例级识别之间的差距。

提出的方法

• TDID 将目标驱动嵌入模块集成到 Faster R-CNN 主干网络中，场景和目标特征提取器之间共享权重。
• 该方法计算来自场景图像和目标图像的特征之间的联合嵌入，以在每个空间位置评估相似性。
• 检测头利用嵌入后的相似性分数来预测边界框，将检测任务视为二分类匹配任务（目标 vs. 非目标）。
• 通过在真实世界数据集（AVD、NYUD2、BigBird、RGB-D Objects）上合成训练数据，并利用合成物体放置进行数据增强，生成训练数据。
• 采用多源预训练策略，结合 AVD、BigBird、RGB-D Objects、RGB-D Scenes 和 ImageNet VID 的数据，以提升泛化能力。
• 模型以端到端方式训练 150,000 次迭代，学习率为 0.0005，使用数据增强和目标图像与场景图像对的随机采样。

实验结果

研究问题

• RQ1 基于深度学习的检测器是否能够在无需任何微调或重新训练的情况下，泛化检测新型物体实例？
• RQ2 与传统类别级检测器和手工设计特征方法相比，目标驱动嵌入在实例检测任务中的性能如何？
• RQ3 在多样化家庭物体上训练的检测器，在真实世界杂乱环境中对未见实例的泛化能力在多大程度上成立？
• RQ4 学习目标特征与场景特征之间的基于相似性的比较，是否能提升对小尺寸或遮挡实例的检测准确率？
• RQ5 统一架构是否能有效从通用检测迁移知识到特定实例检测，且仅需极少的架构修改？

主要发现

• 在 GMU 厨房数据集上，TDID 在仅使用每类两个示例图像的 few-shot 实例检测任务中达到 48.2 mAP，无需重新训练即可泛化到未见实例。
• 在主动视觉数据集（AVD）上，TDID 超过标准 Faster R-CNN 和传统模板匹配方法，尤其在小尺寸和部分遮挡实例上表现更优。
• TDID 在单样本分类任务中表现优异，优于广泛存在的先前方法，包括手工设计特征和少样本学习基线方法。
• 该模型在不同物体尺度下保持强性能，尽管对极小边界框的准确率略有下降，这与小物体检测的固有挑战一致。
• TDID 对同一领域（如家庭/杂货物品）的物体具有良好的泛化能力，但对完全不同的领域泛化能力仍有限。
• 该方法实现高推理速度，且无需在线适应，适用于实时机器人应用。