[论文解读] TuneNet: One-Shot Residual Tuning for System Identification and Sim-to-Real Robot Task Transfer

Adam Allevato, Elaine Schaertl Short+2 more|arXiv (Cornell University)|Jul 25, 2019

Fault Detection and Control Systems被引用 16

一句话总结

TuneNet 是一种基于神经网络的一次性残差调参方法，通过单次观测和最少的模拟，估计并校正仿真器与现实世界之间的参数差异。它通过迭代优化物理参数，实现快速、准确的系统辨识和仿真到现实的机器人任务迁移，在存在参数估计误差的情况下，仍实现了62%的成功率。

ABSTRACT

As researchers teach robots to perform more and more complex tasks, the need for realistic simulation environments is growing. Existing techniques for closing the reality gap by approximating real-world physics often require extensive real world data and/or thousands of simulation samples. This paper presents TuneNet, a new machine learning-based method to directly tune the parameters of one model to match another using an *iterative residual tuning* technique. TuneNet estimates the parameter difference between two models using a single observation from the target and minimal simulation, allowing rapid, accurate and sample-efficient parameter estimation. The system can be trained via supervised learning over an auto-generated simulated dataset. We show that TuneNet can perform system identification, even when the true parameter values lie well outside the distribution seen during training, and demonstrate that simulators tuned with TuneNet outperform existing techniques for predicting rigid body motion. Finally, we show that our method can estimate real-world parameter values, allowing a robot to perform sim-to-real task transfer on a dynamic manipulation task unseen during training. Code and videos are available online at http://bit.ly/2lf1bAw.

研究动机与目标

• 通过极少的真实世界数据采集，弥合机器人仿真中的现实差距。
• 通过将仿真器参数调校至匹配真实世界动力学，实现快速且准确的系统辨识。
• 仅需一次真实世界观测，支持复杂动态操作任务的仿真到现实策略迁移。
• 开发一种样本高效的方法，避免数千次模拟滚动或大量真实世界微调。
• 在仿真中训练神经网络以进行参数估计，使其能泛化至未见的真实世界条件。

提出的方法

• TuneNet 使用神经网络基于单次观测，估计仿真器与真实世界系统之间的残差参数差异。
• 通过估计的梯度分布，应用迭代调参更新，以最少的模拟采样来优化仿真器参数。
• 网络在大规模合成数据集上通过监督学习进行训练，该数据集由仿真中生成的配对仿真与真实世界观测构成。
• 参数更新被限制在物理上合理的范围内（例如，恢复系数 [0,1]），以确保真实性。
• 该方法利用仿真器的可微性，无需完整优化循环即可计算准确的参数校正。
• TuneNet 与下游的仿真到现实策略学习兼容，其中调校后的仿真器被用于规划和执行任务。

实验结果

研究问题

• RQ1 一次真实世界的观测能否实现对仿真器参数的准确系统辨识？
• RQ2 与无梯度优化方法相比，TuneNet 是否能实现更快、更高效的样本调参？
• RQ3 与最先进的仿真到现实技术相比，TuneNet 是否能提升刚体运动预测的准确性？
• RQ4 机器人能否仅通过一次真实世界观测，在新型动态操作任务上实现仿真到现实的任务迁移？
• RQ5 TuneNet 对训练分布之外的参数分布有多强的鲁棒性？

主要发现

• TuneNet 仅使用一次真实世界观测和最少的模拟，就在真实世界的弹跳投射任务中实现了62%的成功率。
• 当排除‘离桌’试验（球弹出视野）后，成功率提升至87%，表明观测质量对性能有显著影响。
• 调校后的恢复系数（COR）估计为 0.789 ± 0.024，高于规定的 0.68–0.72，但仍能实现高成功率。
• TuneNet 在样本效率和调参速度方面优于现有无梯度优化技术。
• 该方法在未见参数值上表现出泛化能力，包括训练分布之外的参数。
• TuneNet 的训练与调参过程在单张 GPU 上耗时不足 7 分钟，凸显其计算高效性。