[论文解读] Rearrangement: A Challenge for Embodied AI
本论文提出将 rearrangement 作为具身AI的经典任务，定义一个形式化框架，并提供四个仿真测试平台，以在各个平台上标准化评估。
We describe a framework for research and evaluation in Embodied AI. Our proposal is based on a canonical task: Rearrangement. A standard task can focus the development of new techniques and serve as a source of trained models that can be transferred to other settings. In the rearrangement task, the goal is to bring a given physical environment into a specified state. The goal state can be specified by object poses, by images, by a description in language, or by letting the agent experience the environment in the goal state. We characterize rearrangement scenarios along different axes and describe metrics for benchmarking rearrangement performance. To facilitate research and exploration, we present experimental testbeds of rearrangement scenarios in four different simulation environments. We anticipate that other datasets will be released and new simulation platforms will be built to support training of rearrangement agents and their deployment on physical systems.
研究动机与目标
- 提出将 rearrangement 作为标准化、经典任务，以统一具身AI研究。
- 定义一个端到端评估协议，能够处理多样化目标规格（几何、图像、语言、经验、谓词）。
- 在具身、感知与操作三个维度上刻画 rearrangement。
- 提供在多种仿真环境中的实验测试平台，促进跨平台研究与模型迁移。
- 鼓励在评估与部署中实现强泛化和现实感知。
提出的方法
- 将 rearrangement 在类POMDP框架中形式化，适用于刚性与关节对象。
- 描述目标规格机制：GeometricGoal, ImageGoal, LanguageGoal, ExperienceGoal, PredicateGoal。
- 调研具身选项，从抽象的魔术指针到完整物理仿真与传感器模态。
- 提出以0–1分制对episode评分的评估，强调端到端感知到行动的流程。
- 在 THOR, RLBench, SAPIEN, Habitat 发布 rearrangement 场景，以实现跨平台实验。
实验结果
研究问题
- RQ1在具身情境中， rearrangement 的一般性、端到端定义是什么？
- RQ2如何在一个评估协议下统一多样的目标规格？
- RQ3具身性与传感器选择如何影响 rearrangement 性能以及向具身AI的进展？
- RQ4有效的测试平台和基准是什么，以实现跨平台比较和向物理系统的迁移？
- RQ5应该如何定义与衡量 rearrangement 任务中的泛化？
主要发现
- 将环境从初始状态变换到目标状态，在部分观测下，且对episode给予0–1的分数奖励。
- 框架支持多种目标规格，包括几何、视觉、语言、经验和谓词。
- 发布四个基准模拟器（THOR, RLBench, SAPIEN, Habitat），以支持跨平台的端到端评估。
- 讨论了一系列具身选择，从抽象指针到完整物理仿真，并给出何时使用每种方式的建议。
- 作者主张强泛化，在看不见的物体与环境上进行评估，采用真实感知且无特权信息。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。