[论文解读] VIOLA: Imitation Learning for Vision-Based Manipulation with Object Proposal Priors

Yifeng Zhu, Abhishek Joshi+2 more|arXiv (Cornell University)|Oct 20, 2022

Robot Manipulation and Learning被引用 12

一句话总结

VIOLA 提出了一种基于视觉的机器人操作任务的物体中心模仿学习框架，利用预训练的物体提议生成因子化的视觉表征，并通过 Transformer 策略进行处理。在仿真环境中，其成功率比最先进基线方法高出 45.8%，在真实机器人上达到 46.7%，展现出对视觉变化的鲁棒性，以及在咖啡制作和桌面布置等复杂长时序任务中的优异表现。

ABSTRACT

We introduce VIOLA, an object-centric imitation learning approach to learning closed-loop visuomotor policies for robot manipulation. Our approach constructs object-centric representations based on general object proposals from a pre-trained vision model. VIOLA uses a transformer-based policy to reason over these representations and attend to the task-relevant visual factors for action prediction. Such object-based structural priors improve deep imitation learning algorithm's robustness against object variations and environmental perturbations. We quantitatively evaluate VIOLA in simulation and on real robots. VIOLA outperforms the state-of-the-art imitation learning methods by $45.8\%$ in success rate. It has also been deployed successfully on a physical robot to solve challenging long-horizon tasks, such as dining table arrangement and coffee making. More videos and model details can be found in supplementary material and the project website: https://ut-austin-rpl.github.io/VIOLA .

研究动机与目标

• 在协变量偏移和环境扰动下，提升视觉引导模仿学习的鲁棒性。
• 通过利用物体中心表征，使视觉-运动策略能够聚焦于任务相关的视觉因素。
• 通过使用预训练模型生成的通用物体提议，减少对昂贵物体标注的依赖。
• 在真实世界长时序任务中，实现从有限示范中有效学习。
• 通过消融实验和真实机器人部署，验证物体中心先验的有效性。

提出的方法

• 使用预训练的区域提议网络（RPN）从 RGB 观察中生成通用物体提议。
• 从每个提议中提取视觉和位置特征，构建因子化、物体中心的场景表征。
• 将物体表征转换为离散标记，输入带有多头自注意力机制的 Transformer 编码器。
• 通过监督式模仿学习端到端训练 Transformer 策略，基于任务相关区域预测动作。
• 将全局场景上下文和机器人状态特征整合到物体中心表征中，以支持空间推理。
• 在真实世界评估中采用 A/B 测试，以最小化试验设置与执行过程中的人员偏差。

实验结果

研究问题

• RQ1 从通用物体提议中提取的物体中心表征是否能提升视觉引导模仿学习中的泛化能力？
• RQ2 与端到端模型相比，基于 Transformer 的策略如何通过自注意力机制提升对任务相关视觉因素的关注？
• RQ3 在物体位置变化、干扰物和相机位姿偏移下，物体提议在多大程度上提升了模型的鲁棒性？
• RQ4 该方法是否能在仅提供 50 次示范的情况下泛化到真实世界长时序任务？
• RQ5 通过消融实验，VIOLA 架构的各个组件对性能的贡献如何？

主要发现

• 在多种扰动设置下，VIOLA 在仿真环境中比最先进基线方法 BC-RNN 的成功率高出 45.8%。
• 在真实机器人上，VIOLA 在三个复杂任务（包括多阶段咖啡制作）中的平均成功率比 BC-RNN 高出 46.7%。
• 在相机视图抖动等视觉变化条件下，模型仍保持鲁棒性能，而端到端方法无法准确定位目标物体。
• 注意力可视化结果表明，VIOLA 能够动态关注相关物体（如 k 杯、咖啡机），并整合机器人状态以支持空间推理。
• 消融实验表明，物体提议模块和 Transformer 策略对性能均至关重要，任一模块的移除均导致成功率显著下降。
• VIOLA 仅需 50 次人类示范，即可成功泛化到真实世界任务（如餐桌布置和咖啡制作），而基线方法则完全失败。