[论文解读] Real-world Object Recognition with Off-the-shelf Deep Conv Nets: How Many Objects can iCub Learn?

Giulia Pasquale, Carlo Ciliberto+3 more|arXiv (Cornell University)|Apr 13, 2015

Advanced Image and Video Retrieval Techniques参考文献 35被引用 9

一句话总结

该论文评估了在真实世界场景中，iCub类人机器人使用预训练的深度卷积神经网络（CNN）能够识别多少种实际物体，引入了通过四天人机交互收集的iCubWorld28数据集。尽管最先进的CNN模型取得了高准确率，但仅有2种物体以98%的置信度被识别，揭示了尽管深度学习取得进展，真实世界机器人视觉识别仍面临重大挑战。

ABSTRACT

The ability to visually recognize objects is a fundamental skill for robotics systems. Indeed, a large variety of tasks involving manipulation, navigation or interaction with other agents, deeply depends on the accurate understanding of the visual scene. Yet, at the time being, robots are lacking good visual perceptual systems, which often become the main bottleneck preventing the use of autonomous agents for real-world applications. Lately in computer vision, systems that learn suitable visual representations and based on multi-layer deep convolutional networks are showing remarkable performance in tasks such as large-scale visual recognition and image retrieval. To this regard, it is natural to ask whether such remarkable performance would generalize also to the robotic setting. In this paper we investigate such possibility, while taking further steps in developing a computational vision system to be embedded on a robotic platform, the iCub humanoid robot. In particular, we release a new dataset ({\sc iCubWorld28}) that we use as a benchmark to address the question: {\it how many objects can iCub recognize?} Our study is developed in a learning framework which reflects the typical visual experience of a humanoid robot like the iCub. Experiments shed interesting insights on the strength and weaknesses of current computer vision approaches applied in real robotic settings.

研究动机与目标

• 评估现成的深度卷积神经网络在机器人场景中实现真实世界物体识别的可扩展性。
• 构建一个基准数据集iCubWorld28，以反映类人机器人在日常互动中的视觉体验。
• 研究上下文信息、时间一致性以及自监督机制如何提升机器人系统中的识别性能。
• 量化在真实条件下，iCub能够以高准确率（98%）识别的物体最大数量。
• 比较现代深度学习架构（如CaffeNet、OverFeat）与传统方法（如BoW、Fisher向量）在机器人视觉识别任务中的表现。

提出的方法

• 通过人机交互收集iCubWorld28数据集，一名人类教师在连续四天内向iCub展示28种物体，并通过语音标注实现自动标注。
• 采用预训练的CaffeNet作为视觉表征主干网络，在iCubWorld28数据集上进行微调以实现物体分类。
• 实施基于置信度的性能度量方法，以估计离线结果向真实世界部署的泛化能力。
• 通过利用机器人视觉流中的连续帧，探索时间一致性对提升识别鲁棒性的效果。
• 应用弱监督策略以减少图像中干扰项的影响，提升模型泛化能力。
• 采用多日学习设置以模拟增量式、终身学习，评估各训练阶段的性能表现。

实验结果

研究问题

• RQ1 在真实世界场景中，使用现成的深度CNN模型，iCub机器人能够以98%的准确率识别多少种物体？
• RQ2 在机器人收集的数据集上，深度学习模型的性能与经典视觉表征方法（如BoW、Fisher向量）相比如何？
• RQ3 通过连续观测获得的时间一致性与上下文信息在多大程度上能够提升机器人系统中的物体识别性能？
• RQ4 识别结果的置信度与真实世界泛化潜力之间存在何种相关性？
• RQ5 弱监督策略是否能够减轻视觉干扰项的影响，并提升在非受控环境中的识别性能？

主要发现

• 在28种物体中仅有2种以98%的准确率和高置信度被识别，表明尽管模型性能优异，但在真实世界部署中仍存在显著局限。
• 预训练的深度CNN（CaffeNet和OverFeat）显著优于BoW、Fisher向量和VLAD等传统方法，其中CaffeNet在所有天数的平均准确率达到80.8%。
• 连续帧之间的时间一致性提升了识别的鲁棒性，表明序列视觉数据有助于增强模型性能。
• 通过减少干扰项影响的弱监督策略带来了可测量的识别准确率提升，尤其在杂乱场景中效果显著。
• 所有模型的性能随时间下降（例如，CaffeNet在第1天为75.9%，第4天为73.9%），表明真实世界数据采集中可能存在概念漂移或分布偏移。
• 即使使用最先进的模型，实现人类水平性能（98%准确率）仍极具挑战，仅有14种物体在50%置信度下被识别。