[论文解读] RL-ViGen: A Reinforcement Learning Benchmark for Visual Generalization

Zhecheng Yuan, Sizhe Yang+4 more|arXiv (Cornell University)|Jul 15, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

RL-ViGen 是一个用于视觉泛化的新型强化学习基准，整合了多种多样化、真实的任务环境，涵盖操控、导航和自动驾驶等任务类型，并覆盖光照、摄像头视角和视觉外观等多种泛化类型。在统一框架下进行评估时，最先进算法并未表现出普遍优越性，凸显了在真实世界环境中开发更鲁棒、更具泛化能力智能体的必要性。

ABSTRACT

Visual Reinforcement Learning (Visual RL), coupled with high-dimensional observations, has consistently confronted the long-standing challenge of out-of-distribution generalization. Despite the focus on algorithms aimed at resolving visual generalization problems, we argue that the devil is in the existing benchmarks as they are restricted to isolated tasks and generalization categories, undermining a comprehensive evaluation of agents' visual generalization capabilities. To bridge this gap, we introduce RL-ViGen: a novel Reinforcement Learning Benchmark for Visual Generalization, which contains diverse tasks and a wide spectrum of generalization types, thereby facilitating the derivation of more reliable conclusions. Furthermore, RL-ViGen incorporates the latest generalization visual RL algorithms into a unified framework, under which the experiment results indicate that no single existing algorithm has prevailed universally across tasks. Our aspiration is that RL-ViGen will serve as a catalyst in this area, and lay a foundation for the future creation of universal visual generalization RL agents suitable for real-world scenarios. Access to our code and implemented algorithms is provided at https://gemcollector.github.io/RL-ViGen/.

研究动机与目标

• 解决现有视觉强化学习基准的局限性，这些基准受限于孤立的任务和狭窄的泛化类别。
• 通过引入更广泛、更多样化的评估框架，克服算法对当前基准的过拟合风险。
• 实现在多个任务类别和视觉扰动下对视觉泛化能力的全面、公平且可靠的评估。
• 为最先进视觉强化学习泛化算法提供统一的训练与评估框架，以确保一致的比较。
• 为开发适用于真实世界部署的通用视觉泛化智能体奠定基础。

提出的方法

• 设计一个包含五类任务的基准：运动控制、桌面操控、自动驾驶、室内导航以及灵巧手操控。
• 在每类任务中引入多种泛化类型，包括视觉外观、光照变化、摄像头视角、场景结构以及跨实体转移。
• 为各种最先进视觉强化学习算法实现统一的训练框架，确保一致的优化方案并实现公平比较。
• 所有环境均采用高保真、真实的渲染技术，以更好地反映现实世界中的视觉多样性。
• 集成多种数据增强技术（例如随机裁剪、色彩抖动、基于显著性的掩码）以测试在视觉扰动下的鲁棒性。
• 使用泛化得分和训练效率指标（例如样本效率、实际运行时间）对性能进行评估。

实验结果

研究问题

• RQ1 现有视觉强化学习泛化算法是否能在多样化的、真实的任务环境中保持一致的性能？
• RQ2 不同泛化类型（如光照变化、摄像头视角偏移和视觉外观变化）如何影响算法性能？
• RQ3 当前算法在不同实体和任务结构之间泛化的程度如何？
• RQ4 不同算法在泛化性能与训练效率（如样本效率、实际运行时间）之间存在何种权衡？
• RQ5 数据增强策略的选择是否显著影响复杂、高维视觉环境中的泛化性能？

主要发现

• 没有单一算法在所有任务和泛化类型中始终优于其他算法，表明当前方法缺乏通用泛化能力。
• DrQ-v2 在运动控制和桌面操控任务中表现出更优的样本效率，尤其在智能体处于中心位置且受数据增强噪声影响时。
• CURL 在运动控制和操控任务中实现了与 DrQ-v2 相当的样本效率，尤其是在使用单一共享编码器和对比损失时。
• SGQN 和 PIE-G 等算法在动态视频背景和干扰物等复杂视觉场景中表现出更好的泛化能力，而 DrQ-v2 在高干扰环境下易出现熵崩溃。
• 实际运行时间分析表明，DrQ-v2 的训练效率最高，而使用显著性图（SGQN）或预训练表征（PIE-G）的方法则带来更高的计算开销。
• 该基准揭示，第一人称视角环境（如 Habitat、CARLA）对数据增强噪声更具鲁棒性，从而降低了不同算法间的性能方差。