[论文解读] Robot In a Room: Toward Perfect Object Recognition in Closed Environments

Shuran Song, Linguang Zhang+1 more|arXiv (Cornell University)|Jul 9, 2015

Robotics and Sensor-Based Localization参考文献 35被引用 23

一句话总结

该论文提出了一种机器人视觉系统，通过利用预先构建的3D地图、众包标注以及结合基于位姿的图像扭曲、SIFT匹配和置信度感知的人工介入校正的多线索识别流水线，在封闭环境中实现了接近人类水平的物体识别。该系统在无新物体出现时可实现近乎完美的精确率和高召回率，从而实现完全自主运行。

ABSTRACT

While general object recognition is still far from being solved, this paper proposes a way for a robot to recognize every object at an almost human-level accuracy. Our key observation is that many robots will stay in a relatively closed environment (e.g. a house or an office). By constraining a robot to stay in a limited territory, we can ensure that the robot has seen most objects before and the speed of introducing a new object is slow. Furthermore, we can build a 3D map of the environment to reliably subtract the background to make recognition easier. We propose extremely robust algorithms to obtain a 3D map and enable humans to collectively annotate objects. During testing time, our algorithm can recognize all objects very reliably, and query humans from crowd sourcing platform if confidence is low or new objects are identified. This paper explains design decisions in building such a system, and constructs a benchmark for extensive evaluation. Experiments suggest that making robot vision appear to be working from an end user's perspective is a reachable goal today, as long as the robot stays in a closed environment. By formulating this task, we hope to lay the foundation of a new direction in vision for robotics. Code and data will be available upon acceptance.

研究动机与目标

• 在家庭或办公室等受限、静态环境中，实现服务机器人可靠且高精度的物体识别。
• 通过利用环境约束（如物体种类有限、引入速度缓慢）来克服通用物体识别方法的局限性。
• 设计一种在运行过程中最小化人工干预的系统，通过众包方式自动检测并处理新物体或不确定物体。
• 建立一个用于评估封闭环境中物体识别性能的基准，提供精确的召回率和精确率指标，特别是在新物体检测条件下的评估。

提出的方法

• 机器人在初始探索阶段使用RGB-D传感器和位姿估计技术，构建环境的详细3D地图。
• 通过众包平台的人工标注者对3D重建中的关键帧进行物体标注，创建带标签的物体库和语义地图。
• 在推理阶段，系统利用优化后的相机位姿，将训练帧中的标注映射到当前场景，提升空间对齐精度。
• 对于可移动物体，采用基于SIFT的特征匹配来检测并标注未被背景映射覆盖的物体。
• 系统将多种线索——背景映射、前景匹配和位姿一致性——整合到统一的识别流水线中，以最大化精确率。
• 当置信度较低或检测到新物体时，系统通过众包方式向人工标注者发起查询，并具备标签传播机制以提升覆盖范围。

实验结果

研究问题

• RQ1 机器人是否能在类似家庭的封闭受限环境中实现接近人类水平的物体识别准确率？
• RQ2 与开放世界设置相比，将机器人限制在有限环境中在多大程度上提升了可靠物体识别的可行性？
• RQ3 在不完全依赖外观特征的情况下，3D场景重建和位姿估计能在多大程度上提升识别性能？
• RQ4 结合自动化识别与人工介入校正的混合方法，在处理新物体或模糊物体时的效率如何？
• RQ5 在包含新物体检测的真实封闭环境中，评估物体识别性能的最合适的指标和评估协议是什么？

主要发现

• 所提出的系统在物体识别中实现了近乎完美的精确率（接近100%）和高召回率，显著优于在通用数据集上预训练的最先进模型。
• 当无新物体引入时，自动识别流水线的性能几乎与人工标注者相当，表明系统具备实现完全自主运行的潜力。
• 预训练模型与在封闭环境数据集上微调后的模型之间存在显著性能差距，证明环境约束能极大简化识别任务。
• 流水线的每个组件——背景映射、SIFT匹配和基于位姿的对齐——均表现出高精度且稳定可靠，验证了模块化设计的有效性。
• 引入人工介入校正后，系统覆盖范围得到提升，能有效处理新物体，尽管人工标注仍存在少量边界误差。
• 基准评估表明，即使在挑战性条件下，系统仍能保持高精确率，正确预测“无标签”以避免误报至关重要。