[论文解读] What Went Wrong? Closing the Sim-to-Real Gap via Differentiable Causal Discovery

Peide Huang, Xilun Zhang+7 more|arXiv (Cornell University)|Jun 28, 2023

Time Series Analysis and Forecasting被引用 4

一句话总结

本文提出 COMPASS，一种可微分的因果发现框架，通过识别并优化关键模拟器参数来弥合机器人抓取任务中仿真与现实之间的差距。通过学习将环境参数与轨迹差异关联的因果图，COMPASS 实现了端到端、可解释且高效的参数调优，在仿真和真实世界实验中均显著提升了轨迹对齐效果和任务成功率。

ABSTRACT

Training control policies in simulation is more appealing than on real robots directly, as it allows for exploring diverse states in an efficient manner. Yet, robot simulators inevitably exhibit disparities from the real-world ebut{dynamics}, yielding inaccuracies that manifest as the dynamical simulation-to-reality (sim-to-real) gap. Existing literature has proposed to close this gap by actively modifying specific simulator parameters to align the simulated data with real-world observations. However, the set of tunable parameters is usually manually selected to reduce the search space in a case-by-case manner, which is hard to scale up for complex systems and requires extensive domain knowledge. To address the scalability issue and automate the parameter-tuning process, we introduce COMPASS, which aligns the simulator with the real world by discovering the causal relationship between the environment parameters and the sim-to-real gap. Concretely, our method learns a differentiable mapping from the environment parameters to the differences between simulated and real-world robot-object trajectories. This mapping is governed by a simultaneously learned causal graph to help prune the search space of parameters, provide better interpretability, and improve generalization on unseen parameters. We perform experiments to achieve both sim-to-sim and sim-to-real transfer, and show that our method has significant improvements in trajectory alignment and task success rate over strong baselines in several challenging manipulation tasks.

研究动机与目标

• 为解决机器人控制中的仿真到现实差距问题，识别并调优导致仿真与真实世界动力学差异的关键模拟器参数。
• 自动化并扩展参数调优过程，超越逐案的手动选择，减少对领域专业知识的依赖。
• 通过学习因果图来剪枝无关参数并揭示因果关系，提升可解释性与泛化能力。
• 利用可微分动力学建模实现仿真参数的高效端到端优化。
• 在仿真到仿真和仿真到现实的迁移设置中，均展示出在轨迹对齐和任务成功率方面的优越性能。

提出的方法

• COMPASS 将仿真到现实的差距建模为从环境参数到仿真与真实世界机器人-物体交互轨迹差异的可微分映射。
• 它联合学习一个因果图，用于建模环境参数与仿真到现实差距之间的关系，从而实现结构化的搜索空间剪枝。
• 该框架通过可微分因果模型进行反向传播，实现仿真参数的端到端优化，以最小化轨迹差异。
• 因果图初始为全连接结构，随后根据学习到的因果依赖关系迭代剪枝，提升效率与可解释性。
• 该方法在真实世界轨迹数据和模拟轨迹上进行训练，政策性能在仿真和真实环境中均进行评估。
• 它利用可微分物理引擎，实现对质量、阻尼和摩擦等物理参数的基于梯度的优化。

实验结果

研究问题

• RQ1 在机器人抓取任务中，哪些模拟器环境参数对仿真到现实差距的贡献最为显著？
• RQ2 如何在不依赖人工、特定案例选择的前提下，自动识别并优先排序最具影响力的参数？
• RQ3 可微分因果模型能否提升仿真到现实参数调优的效率与可解释性？
• RQ4 引入因果结构在多大程度上能增强仿真到现实迁移中的泛化能力与性能表现？
• RQ5 与基于梯度和无梯度的基线方法相比，该方法在轨迹对齐和任务成功率方面表现如何？

主要发现

• 在 Push-I 任务中，COMPASS 仅用 2 次迭代便将有效参数搜索空间从 67 个维度缩减至仅 3 个，识别出最具有影响力的参数：cube@dyna@mass、cube@dyna@damping 和 cube@dyna@friction_sliding。
• 在真实世界测试中，该方法实现了 0.70 ± 0.28 的任务成功率，显著优于 NPDR（0.40 ± 0.21）和 EXI-Net（0.50 ± 0.22）。
• 轨迹对齐结果表明，COMPASS 收敛更快，轨迹差异更低，且在滚动、俯仰和位置轨迹上均展现出更优的视觉对齐效果。
• COMPASS 学习到的因果图有效剪除了无关参数，证明该方法可在无先验假设的情况下识别关键物理因素。
• 在仿真到仿真评估中，使用 COMPASS 训练的智能体成功率高于基准方法和名义参数设置，证实了策略泛化能力的提升。
• 该框架实现了仿真参数的端到端优化，环境参数在优化迭代过程中逐渐趋近真实值。