[论文解读] Transfer learning from synthetic to real images using variational autoencoders for robotic applications

Tadanobu Inoue, Subhajit Chaudhury+2 more|arXiv (Cornell University)|Sep 20, 2017

Generative Adversarial Networks and Image Synthesis参考文献 4被引用 14

一句话总结

本文提出一种基于变分自编码器（VAE）的迁移学习方法，通过使用两个变分自编码器，弥合了合成仿真图像与真实世界图像之间的现实差距，适用于机器人视觉任务。通过从真实图像生成伪合成图像并利用大规模合成数据，该方法在仅使用少量真实数据的情况下，实现了小于1厘米的物体位置检测误差，使预训练的机器人策略可直接迁移到真实机器人上而无需微调，其精度比仅使用真实数据的基线方法高出6至7倍。

ABSTRACT

Robotic learning in simulation environments provides a faster, more scalable, and safer training methodology than learning directly with physical robots. Also, synthesizing images in a simulation environment for collecting large-scale image data is easy, whereas capturing camera images in the real world is time consuming and expensive. However, learning from only synthetic images may not achieve the desired performance in real environments due to the gap between synthetic and real images. We thus propose a method that transfers learned capability of detecting object position from a simulation environment to the real world. Our method enables us to use only a very limited dataset of real images while leveraging a large dataset of synthetic images using multiple variational autoencoders. It detects object positions 6 to 7 times more precisely than the baseline of directly learning from the dataset of the real images. Object position estimation under varying environmental conditions forms one of the underlying requirement for standard robotic manipulation tasks. We show that the proposed method performs robustly in different lighting conditions or with other distractor objects present for this requirement. Using this detected object position, we transfer pick-and-place or reaching tasks learned in a simulation environment to an actual physical robot without re-training.

研究动机与目标

• 解决机器人视觉中合成仿真图像与真实世界图像之间的现实差距问题。
• 仅使用少量真实图像数据，在真实环境中实现高精度的物体位置检测。
• 在无需微调的情况下，将仿真环境中训练的机器人策略直接迁移到真实机器人上。
• 确保在真实世界部署中对光照变化和干扰物的鲁棒性。
• 在不同学习范式（包括监督学习和强化学习）之间实现可迁移性。

提出的方法

• 该方法采用两个变分自编码器：一个将真实图像编码到共享潜在空间，另一个从该空间解码以生成伪合成图像。
• 通过条件分布 $ p(\mathbf{x}_S|\mathbf{x}_R) $ 最小化预测与真实物体位置之间的重构误差，优化目标为 $ \mathbb{E}_{p(\mathbf{x}_S|\mathbf{x}_R)}[||f(\mathbf{x}_R) - f(\mathbf{x}_S)||^2] $。
• 采用多阶段学习流程，将“学会观察”（目标检测）与“学会行动”（策略学习）分离，两者均在仿真环境中训练。
• VAE-MLP流程处理来自Kinect传感器的原始RGB-D图像，实现实时3D物体位置估计。
• 该方法集成于监督学习（LSTM用于抓取与放置）和强化学习（DDPG用于抓取任务）框架中。
• 该方法对光照变化和干扰物具有不变性，确保在真实世界条件下的鲁棒性。

实验结果

研究问题

• RQ1 当结合大规模合成数据时，能否有效利用少量真实图像数据来提升物体检测的精度？
• RQ2 基于VAE的领域自适应方法在多大程度上能够减少仿真与真实世界图像之间的现实差距？
• RQ3 仅使用所提出的检测方法，能否在不进行微调的情况下成功将仿真环境中训练的机器人策略迁移到真实机器人上？
• RQ4 该方法在光照变化和杂乱场景等环境变化下具有多强的鲁棒性？
• RQ5 该方法是否能在不同学习范式（包括监督学习和强化学习）之间实现泛化？

主要发现

• 所提出的方法在真实世界环境中实现物体位置检测的近似误差小于1厘米。
• 物体检测性能比仅在真实图像数据上直接训练CNN或MLP的基线方法高出6至7倍。
• 在将仿真环境中训练的策略迁移到真实机器人时，抓取与放置任务在10次试验中均实现了100%的成功率。
• 使用完全在仿真环境中训练的DDPG策略，成功在真实世界中执行了抓取任务，且未在真实数据上进行任何微调。
• 该方法在不同光照条件下以及存在干扰物的情况下仍保持鲁棒性。
• 该方法实现了从仿真到真实机器人对监督学习和强化学习策略的直接迁移，无需任何微调。