[论文解读] Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes

Tao Chen, Megha Tippur+4 more|arXiv (Cornell University)|Nov 21, 2022

Robot Manipulation and Learning被引用 7

一句话总结

该论文提出了一种基于单个普通深度相机的实时、通用的物体在手重定向控制器，适用于复杂且新颖的物体形状。通过在模拟环境中使用领域随机化和系统辨识进行强化学习训练，该方法在真实世界中实现了接近7秒的中位重定向时间，并能泛化到未见过的物体，包括在重力作用下需克服向下手部姿态的挑战性情况。

ABSTRACT

In-hand object reorientation is necessary for performing many dexterous manipulation tasks, such as tool use in less structured environments that remain beyond the reach of current robots. Prior works built reorientation systems assuming one or many of the following: reorienting only specific objects with simple shapes, limited range of reorientation, slow or quasistatic manipulation, simulation-only results, the need for specialized and costly sensor suites, and other constraints which make the system infeasible for real-world deployment. We present a general object reorientation controller that does not make these assumptions. It uses readings from a single commodity depth camera to dynamically reorient complex and new object shapes by any rotation in real-time, with the median reorientation time being close to seven seconds. The controller is trained using reinforcement learning in simulation and evaluated in the real world on new object shapes not used for training, including the most challenging scenario of reorienting objects held in the air by a downward-facing hand that must counteract gravity during reorientation. Our hardware platform only uses open-source components that cost less than five thousand dollars. Although we demonstrate the ability to overcome assumptions in prior work, there is ample scope for improving absolute performance. For instance, the challenging duck-shaped object not used for training was dropped in 56 percent of the trials. When it was not dropped, our controller reoriented the object within 0.4 radians (23 degrees) 75 percent of the time. Videos are available at: https://taochenshh.github.io/projects/visual-dexterity.

研究动机与目标

• 开发一种可直接部署于真实世界、无需先验知识即可泛化至新颖且复杂物体形状的在手重定向系统。
• 克服先前工作的局限性，包括对特定物体形状的依赖、准静态操作、向上手部姿态配置或专用传感器的使用。
• 仅使用单个普通深度相机和开源硬件，实现实时、动态的重定向操作。
• 通过系统性领域随机化和动力学辨识，最大限度缩小仿真到现实的差距，确保真实部署中的鲁棒性。
• 在具有挑战性的场景中展示性能，例如通过向下手部姿态在空中持握物体并克服重力实现重定向。

提出的方法

• 在模拟环境中使用具有已识别动力学参数的仿真机器人，通过CMA-ES优化方法在关节轨迹相似性基础上训练深度强化学习策略。
• 通过仅使用深度图像作为输入，减少仿真与现实之间的差异，因为深度图像在仿真与现实中更为相似。
• 在训练中对物体和环境动力学应用领域随机化，包括施加随机力以提升对现实世界干扰的鲁棒性。
• 采用柔软的指尖设计以提升顺应性并减少超调，增强对控制误差的鲁棒性。
• 通过策略网络提取的特征实现端到端的自学习终止条件，用于预测角误差和动作幅度，并在两者均低于阈值时触发动作终止。
• 使用黑箱CMA-ES优化方法对机器人动力学进行系统辨识，通过调整仿真参数以匹配真实世界中的关节轨迹。

实验结果

研究问题

• RQ1 基于单个深度相机的控制器能否泛化至训练过程中未见过的复杂新颖物体形状？
• RQ2 是否可在仿真环境中训练实时重定向策略并成功部署于真实世界，而无需专用传感器或硬件？
• RQ3 该控制器在具有挑战性的配置下（如需克服重力的向下手部操作）的性能如何？
• RQ4 领域随机化与系统辨识在灵巧操作中多大程度上缩小了仿真到现实的差距？
• RQ5 对于未见过的物体，特别是具有复杂几何形状的物体，该控制器在重定向时间与精度方面的表现如何？

主要发现

• 在真实世界部署中，该控制器对新颖复杂物体形状实现了约7秒的中位重定向时间。
• 对于训练中未使用的鸭子形状物体，在56%的试验中发生掉落，但未掉落的情况下，75%的试验中能将物体重定向至距离目标小于0.4弧度（23度）以内。
• 该系统仅使用单个普通深度相机和成本低于5000美元的开源硬件，成功实现了多种未见过物体形状的重定向。
• 领域随机化与系统辨识的结合显著缩小了仿真到现实的差距，实现了无需微调的真实世界部署。
• 自学习的终止条件在角误差与动作幅度足够小时有效触发动作终止，提升了效率与安全性。
• 控制器在向下手部姿态配置下表现出鲁棒性，能够主动对抗重力，展示了在真实世界工具使用应用中的可行性。