[论文解读] TIDEE: Tidying Up Novel Rooms using Visuo-Semantic Commonsense Priors

Gabriel Sarch, Zhaoyuan Fang+5 more|arXiv (Cornell University)|Jul 21, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

TIDEE 提出了一种用于机器人整理房间的视觉-语义常识推理框架，该框架利用图卷积网络（rGCN）推断合理的容器上下文，并采用语言条件化的错位检测器来优先处理放置错误的物体。通过整合3D语义地图、基于FMM的导航以及可学习的语言先验，TIDEE在2021年重排挑战赛中取得了8.9%的FixedStrict和2.6%的成功率，显著优于基线方法，并可通过自然语言指令实现放置先验的动态适应。

ABSTRACT

We introduce TIDEE, an embodied agent that tidies up a disordered scene based on learned commonsense object placement and room arrangement priors. TIDEE explores a home environment, detects objects that are out of their natural place, infers plausible object contexts for them, localizes such contexts in the current scene, and repositions the objects. Commonsense priors are encoded in three modules: i) visuo-semantic detectors that detect out-of-place objects, ii) an associative neural graph memory of objects and spatial relations that proposes plausible semantic receptacles and surfaces for object repositions, and iii) a visual search network that guides the agent's exploration for efficiently localizing the receptacle-of-interest in the current scene to reposition the object. We test TIDEE on tidying up disorganized scenes in the AI2THOR simulation environment. TIDEE carries out the task directly from pixel and raw depth input without ever having observed the same room beforehand, relying only on priors learned from a separate set of training houses. Human evaluations on the resulting room reorganizations show TIDEE outperforms ablative versions of the model that do not use one or more of the commonsense priors. On a related room rearrangement benchmark that allows the agent to view the goal state prior to rearrangement, a simplified version of our model significantly outperforms a top-performing method by a large margin. Code and data are available at the project website: https://tidee-agent.github.io/.

研究动机与目标

• 解决在新型非结构化环境中机器人整理房间时，物体错位且容器上下文模糊的挑战。
• 通过利用场景上下文和物体关系推导出的视觉-语义常识先验，提升物体放置的准确性。
• 通过微调自然语言指令实现放置先验的动态适应，使智能体能够在训练后学习新的上下文规则。
• 开发一个结合3D语义地图、基于FMM的导航以及双阶段检测流水线的鲁棒端到端系统，用于错位物体定位与放置。
• 在标准化基准（如2021年和2022年重排挑战赛）上评估性能，证明其在未见环境中的泛化能力。

提出的方法

• TIDEE 从RGB-D观测中构建2D和3D空间地图，维护包含116种物体类别的3D语义占据地图，以及一个包含3D质心的动态物体记忆。
• 使用dDETR检测器进行2D物体检测，并利用深度数据和高斯滤波将边界框投影到3D空间，避免依赖可靠性较低的3D检测器。
• 图卷积网络（rGCN）通过建模3D场景中物体与容器之间的关系，推断合理的容器上下文。
• 系统采用快速行进法（FMM）进行路径规划与导航，探索过程通过采样2D占据地图中未探索的可通行区域来引导。
• 使用语言条件化的错位检测器（BERT-OOP）通过关系标签配对（如“闹钟由桌子支撑”→“错位”）进行微调，借助自然语言注入新的常识先验。
• 当放置失败时，TIDEE 尝试打开容器，或通过从候选位置集合中采用最远点采样法搜索通用容器。

Figure 1: Example images of out-of-place objects.

实验结果

研究问题

• RQ1 视觉-语义常识先验是否能提升机器人在新型非结构化室内环境中对物体的放置性能？
• RQ2 通过学习得到的物体-容器关系模型（rGCN）在未见房间和物体配置下的泛化能力如何？
• RQ3 语言指令在多大程度上能够动态改变智能体对“错位”物体的感知？
• RQ4 TIDEE在2021年和2022年重排挑战赛等标准化基准上的表现如何，相较于现有方法有何优势？
• RQ5 3D语义地图与基于FMM的导航的集成在探索效率和任务成功率方面产生了何种影响？

主要发现

• TIDEE 在2021年重排挑战赛中取得了8.9%的FixedStrict和2.6%的成功率，显著优于基线方法Weihs等人[RoomR]的1.4% FixedStrict和0.3%成功率。
• 加入噪声姿态或估计深度后性能略有下降，达到6.6% FixedStrict和1.4%成功率，表明系统对传感器噪声具有鲁棒性。
• 通过语言指令微调，目标关系的错位置信度显著提升：例如，“闹钟由桌子支撑”从0.10提升至0.70，而“报纸由沙发支撑”从0.43提升至0.98。
• 视觉搜索网络在合理物体位置处产生高概率预测，尽管偶有误报（如“床”靠近梳妆台），可能源于以召回率为优先的训练策略。
• 当使用rGCN推断的容器先验时，TIDEE检测并放置错位物体的能力显著提升，将2021年基准上的误放率降低至95%。
• 通过结合语义地图、上下文感知导航以及基于语言条件的自适应推理，系统在新房间中展现出有效的泛化能力。

Figure 2: Example images shown to Amazon Mechanical Turk evaluators.