[论文解读] Robust Multi-Modal Policies for Industrial Assembly via Reinforcement Learning and Demonstrations: A Large-Scale Study

Jianlan Luo, Oleg Sushkov+7 more|arXiv (Cornell University)|Mar 21, 2021

Reinforcement Learning in Robotics参考文献 24被引用 4

一句话总结

本文提出 SHIELD，一种结合人类示范的鲁棒深度强化学习框架，用于工业装配任务，在 NIST 基准测试中完成 13,000 次试验后成功率达到 99.8%。通过结合离策略 DDPGfD 与课程学习及示范先验，该方法在具有挑战性的插装任务（包括移动目标和盲插钥匙）中，优于工程化工业解决方案和人类表现。

ABSTRACT

Over the past several years there has been a considerable research investment into learning-based approaches to industrial assembly, but despite significant progress these techniques have yet to be adopted by industry. We argue that it is the prohibitively large design space for Deep Reinforcement Learning (DRL), rather than algorithmic limitations per se, that are truly responsible for this lack of adoption. Pushing these techniques into the industrial mainstream requires an industry-oriented paradigm which differs significantly from the academic mindset. In this paper we define criteria for industry-oriented DRL, and perform a thorough comparison according to these criteria of one family of learning approaches, DRL from demonstration, against a professional industrial integrator on the recently established NIST assembly benchmark. We explain the design choices, representing several years of investigation, which enabled our DRL system to consistently outperform the integrator baseline in terms of both speed and reliability. Finally, we conclude with a competition between our DRL system and a human on a challenge task of insertion into a randomly moving target. This study suggests that DRL is capable of outperforming not only established engineered approaches, but the human motor system as well, and that there remains significant room for improvement. Videos can be found on our project website: https://sites.google.com/view/shield-nist.

研究动机与目标

• 为解决学术强化学习与工业部署之间的差距，定义面向工业的深度强化学习标准。
• 在标准化的 NIST 装配基准测试中，将基于示范的深度强化学习方法与专业工业集成商的解决方案进行对比评估。
• 证明基于学习的策略在真实工业操作任务中可超越工程化系统与人类表现。
• 开源大规模机器人交互数据集，以支持未来工业操作研究。
• 在两项高度挑战性的任务上验证该方法：将 HDMI 插入移动目标，以及在错位锁孔中进行盲插钥匙操作。

提出的方法

• 利用基于示范的离策略深度强化学习（DDPGfD），从人类遥操作数据中学习多模态策略。
• 采用基于课程的初始位姿随机化，逐步将 X/Y 偏移从 0 增加到 0.5 cm，以提升对初始条件变化的鲁棒性。
• 采用异步在线训练，并定期进行人工干预以校正策略，以稳定学习过程并提高样本效率。
• 整合视觉与力矩-力反馈作为多模态观测，实现在不确定环境中的高接触率操作。
• 应用奖励塑形机制，结合成功信号与插入进度，以鼓励探索并促进收敛。
• 采用基于 VAE 的重建损失的视觉模型来编码视觉观测，但环境变化（如光照或杂乱）下性能会下降。

实验结果

研究问题

• RQ1 通过示范训练的 DRL 系统是否能在标准化工业基准测试中超越专业工程化的工业机器人解决方案？
• RQ2 单一 DRL 策略在工业插装任务中对初始位姿偏移的变化具有多大程度的泛化能力？
• RQ3 基于学习的系统是否能匹配或超越人类在复杂动态操作任务（如插入移动目标）中的表现？
• RQ4 该方法对现实世界中的变化（如传感器噪声、物体错位和环境干扰）具有多强的鲁棒性？
• RQ5 该框架是否能实现在传统机器人解决方案过于脆弱或成本过高的非约束制造环境中的部署？

主要发现

• SHIELD 代理在 NIST 装配基准测试中完成 13,000 次试验后，成功率达到 99.8%，在多种测试条件下表现出高度可靠性。
• 在初始 X/Y 偏移最大达 0.5 cm 的钥匙插入任务中，代理成功率达到 87%，显著优于仅具备 2 mm 搜索范围的厂商解决方案。
• 在目标随机移动的 HDMI 插入任务中，代理在 1,637 次试验中实现 100% 成功率，并匹配人类的周期时间。
• 该系统学习到一种长距离搜索策略，可处理高达 5 mm 的初始错位，超过商业解决方案的 2 mm 范围。
• 与人类对比显示，代理在移动目标插入任务中的周期时间与成功率与人类相当，表明其具备人类水平的鲁棒性。
• 开源数据集包含约 50 小时的机器人交互数据及奖励标签，可支持未来工业操作研究的基准测试与可复现性。