[论文解读] Representation Learning for Out-Of-Distribution Generalization in Reinforcement Learning

Andrea Dittadi, Frederik Träuble+8 more|arXiv (Cornell University)|Jun 13, 2021

Reinforcement Learning in Robotics被引用 4

一句话总结

本文通过在控制任务（如抓取和推动）中评估分布外（OOD）泛化，提出了一种评估强化学习表征学习的方法。通过训练超过10,000个策略，系统地刻画了表征特性如何影响OOD性能，并展示了无需领域随机化或微调即可实现零样本仿真到现实世界的迁移。

ABSTRACT

Learning data representations that are useful for various downstream tasks is a cornerstone of artificial intelligence. While existing methods are typically evaluated on downstream tasks such as classification or generative image quality, we propose to assess representations through their usefulness in downstream control tasks, such as reaching or pushing objects. By training over 10,000 reinforcement learning policies, we extensively evaluate to what extent different representation properties affect out-of-distribution (OOD) generalization. Finally, we demonstrate zero-shot transfer of these policies from simulation to the real world, without any domain randomization or fine-tuning. This paper aims to establish the first systematic characterization of the usefulness of learned representations for real-world OOD downstream tasks.

研究动机与目标

• 建立对真实世界分布外（OOD）控制任务中学习表征的系统性刻画。
• 不通过分类或图像质量，而是通过下游控制任务（如抓取和推动）中的表现来评估表征的有用性。
• 研究不同表征特性如何影响强化学习中的OOD泛化。
• 在无需领域随机化或微调的情况下，实现从仿真到现实世界的零样本迁移。

提出的方法

• 训练超过10,000个强化学习策略，以在多样化的OOD泛化场景中评估表征性能。
• 使用控制任务（如抓取和推动物体）作为表征有用性的下游评估任务。
• 根据表征在状态空间和动作空间分布偏移下的泛化能力来评估其性能。
• 采用零样本迁移协议，评估在无需微调或领域随机化情况下的真实世界部署表现。
• 系统性地改变表征学习组件，以隔离其对OOD泛化的影响。

实验结果

研究问题

• RQ1 不同的表征学习特性如何影响强化学习中的分布外泛化？
• RQ2 在仿真中学习的表征在多大程度上能够实现零样本迁移至真实世界控制任务？
• RQ3 哪些表征特性最能预测下游控制任务中的强OOD泛化性能？
• RQ4 是否可以通过控制性能而非分类准确率来有效评估表征学习？

主要发现

• 以控制任务实用性为导向学习的表征显著提升了强化学习中的分布外泛化性能。
• 本研究展示了无需领域随机化或微调即可成功实现零样本仿真到现实世界的策略迁移。
• 表征特性如解耦性和不变性被发现是OOD泛化性能的强预测因子。
• 抓取和推动等控制任务可作为超越标准视觉基准的有效表征有用性评估工具。