[论文解读] Vision-Based Manipulators Need to Also See from Their Hands

Kyle Hsu, Moo Jin Kim+3 more|arXiv (Cornell University)|Mar 15, 2022

Robot Manipulation and Learning被引用 10

一句话总结

该论文表明，在基于视觉的机器人操作中，整合以手部为中心（眼在手）的相机视角能显著提升训练效率和分布外泛化能力，优于第三人称视角。通过结合两种视角并利用变分信息瓶颈（VIB）正则化第三人称分支，该方法在六个Meta-World任务中实现了最先进的泛化性能，相较于朴素的多视角学习，将分布外失败率降低了高达64%。

ABSTRACT

We study how the choice of visual perspective affects learning and generalization in the context of physical manipulation from raw sensor observations. Compared with the more commonly used global third-person perspective, a hand-centric (eye-in-hand) perspective affords reduced observability, but we find that it consistently improves training efficiency and out-of-distribution generalization. These benefits hold across a variety of learning algorithms, experimental settings, and distribution shifts, and for both simulated and real robot apparatuses. However, this is only the case when hand-centric observability is sufficient; otherwise, including a third-person perspective is necessary for learning, but also harms out-of-distribution generalization. To mitigate this, we propose to regularize the third-person information stream via a variational information bottleneck. On six representative manipulation tasks with varying hand-centric observability adapted from the Meta-World benchmark, this results in a state-of-the-art reinforcement learning agent operating from both perspectives improving its out-of-distribution generalization on every task. While some practitioners have long put cameras in the hands of robots, our work systematically analyzes the benefits of doing so and provides simple and broadly applicable insights for improving end-to-end learned vision-based robotic manipulation.

研究动机与目标

• 探究视觉视角（特别是以手部为中心与第三人称）对基于视觉的机器人操作中学习与泛化的影响。
• 识别以手部为中心视角在何种情况下提升性能，以及在何种情况下因可观测性受限而失效。
• 开发一种结合两种视角的方法，同时减轻第三人称视角带来的负面泛化影响。
• 在不进行网络架构或算法框架重大改动的前提下，提升基于视觉的强化学习中的分布外泛化能力。

提出的方法

• 作者在端到端基于视觉的机器人操作任务中对比了以手部为中心（眼在手）与第三人称相机视角的效果。
• 提出一种多流观测设置：将以手部为中心与第三人称视觉输入相结合，并共享策略网络。
• 对第三人称分支应用变分信息瓶颈（VIB），以降低其对策略的影响，从而最小化负面泛化效应。
• 将该方法集成到DrQ-v2（一种先进的基于视觉的强化学习算法）中，利用VIB对第三人称特征表示进行正则化。
• 在六项Meta-World任务上评估该方法，涵盖不同的以手部为中心可观测性水平及多种分布偏移情况。
• 超参数调优以匹配原始DrQ-v2设置，并为KL散度和正则化增加VIB特异性系数。

实验结果

研究问题

• RQ1 视觉视角的选择（以手部为中心 vs. 第三人称）如何影响基于视觉操作中的学习效率与分布外泛化能力？
• RQ2 在何种条件下以手部为中心视角会失效？何时必须引入第三人称视角？
• RQ3 结合两种视角能否提升泛化能力？如果是，如何减轻第三人称视角的负面影响？
• RQ4 相较于朴素的多视角学习，对第三人称分支进行VIB正则化在多大程度上提升了泛化能力？

主要发现

• 仅使用以手部为中心视角时，在模仿学习、强化学习及对抗性模仿学习中，相较于基线，分布外失败率降低了92%至100%（仿真环境）。
• 在真实机器人上，以手部为中心方法相较于基线将失败率降低了45%（模仿学习），证明了其在真实世界中的可迁移性。
• 当以手部为中心的可观测性不足时，通过VIB正则化结合两种视角，在六项Meta-World任务中，相较于朴素的多视角训练，将分布外失败率降低了64%。
• VIB正则化后的智能体在样本效率与泛化能力方面均优于仅使用以手部为中心视角和朴素多视角学习的智能体，尤其在分布偏移下表现更优。
• 该方法在Meta-World基准的全部六项任务中均达到最先进性能，且在不同操作技能与可观测性水平下均表现出一致的性能提升。
• 在最复杂任务中，训练超过160万步后出现过拟合现象，表明在样本效率与长期训练鲁棒性之间存在权衡。