[论文解读] Towards Adapting Deep Visuomotor Representations from Simulated to Real Environments.

Eric Tzeng, Coline Devin+6 more|arXiv (Cornell University)|Nov 23, 2015

Domain Adaptation and Few-Shot Learning参考文献 33被引用 61

一句话总结

本文提出了一种弱监督域自适应方法，通过结合分布级对齐与成对图像对齐，将模拟环境中的视觉-运动表征迁移至真实世界环境，显著减少了域差距，且无需昂贵的人工标注。在PR2机器人操作任务上的评估表明，该方法相较于以往方法在真实世界中表现更优。

ABSTRACT

Real-world robotics problems often occur in domains that differ significantly from the robot's prior training environment. For many robotic control tasks, real world experience is expensive to obtain, but data is easy to collect in either an instrumented environment or in simulation. We propose a novel domain adaptation approach for robot perception that adapts visual representations learned on a large easy-to-obtain source dataset (e.g. synthetic images) to a target real-world domain, without requiring expensive manual data annotation of real world data before policy search. Supervised domain adaptation methods minimize cross-domain differences using pairs of aligned images that contain the same object or scene in both the source and target domains, thus learning a domain-invariant representation. However, they require manual alignment of such image pairs. Fully unsupervised adaptation methods rely on minimizing the discrepancy between the feature distributions across domains. We propose a novel, more powerful combination of both distribution and pairwise image alignment, and remove the requirement for expensive annotation by using weakly aligned pairs of images in the source and target domains. Focusing on adapting from simulation to real world data using a PR2 robot, we evaluate our approach on a manipulation task and show that by using weakly paired images, our method compensates for domain shift more effectively than previous techniques, enabling better robot performance in the real world.

研究动机与目标

• 解决从模拟环境向真实世界机器人环境迁移时视觉-运动策略学习中的域差距挑战。
• 减少在策略训练过程中对真实世界数据昂贵的人工标注的依赖。
• 通过结合无监督域差异最小化与弱对齐图像对，提升适应性能。
• 仅使用弱对齐的合成图像与真实图像，实现有效的策略迁移，避免对精确图像级对齐的需求。
• 通过模拟预训练与弱监督自适应，在操作任务上展示改进的真实世界机器人性能。

提出的方法

• 该方法结合对抗性域自适应，以最小化模拟图像与真实图像之间特征分布的域差距。
• 引入弱对齐图像对——在模拟和真实世界中拍摄的同一场景或物体的图像，无需精确的像素级对应关系。
• 对比学习组件增强了弱对齐图像之间的特征对齐，提升了跨域的表征一致性。
• 该方法联合优化域不变特征学习与弱对齐图像监督，平衡分布级对齐与实例级对齐。
• 视觉编码器在合成数据上进行预训练，并使用所提出的弱监督自适应目标在真实世界图像上进行微调。
• 经适应后的视觉表征被端到端地用于真实世界数据上的视觉-运动策略训练，且标注需求极少。

实验结果

研究问题

• RQ1 来自模拟与真实世界域的弱对齐图像是否能提升视觉-运动策略学习中的域自适应？
• RQ2 结合分布级对齐与成对图像对齐的方法，相比纯粹无监督或完全监督的自适应方法，表现为何更优？
• RQ3 在不人工标注真实世界图像对的情况下，域差距能在多大程度上被缓解？
• RQ4 与现有模拟到现实迁移技术相比，所提出方法是否能实现更好的真实世界策略性能？
• RQ5 该方法在不同对象外观与场景布局变化下，对域间差异的鲁棒性如何？

主要发现

• 所提出方法在PR2机器人任务上，相较于基线域自适应方法，实现了显著更优的真实世界操作性能。
• 通过利用弱对齐图像，该方法比仅依赖特征分布对齐的纯无监督方法更有效地减少了域差距。
• 该方法优于需要精确图像对齐的完全监督方法，同时避免了人工标注的成本。
• 分布级对齐与成对对齐的结合，使真实世界中的视觉表征更具鲁棒性与泛化能力。
• 经适应的策略能很好地泛化到未见过的真实世界测试场景，证明了弱监督自适应策略的有效性。
• 结果表明，即使合成与真实图像的配对有限且不精确，性能提升仍显著优于标准的模拟到现实基线方法。