[论文解读] Natural Environment Benchmarks for Reinforcement Learning

Amy Zhang, Yuxin Wu+1 more|arXiv (Cornell University)|Nov 14, 2018

Reinforcement Learning in Robotics参考文献 29被引用 32

一句话总结

本文提出了三个新的强化学习基准家族，将真实世界的自然信号——如自然视频、视觉场景和动态感官输入——整合到模拟环境中，以提升算法的鲁棒性。通过在Atari和MuJoCo类环境中嵌入真实世界的视觉数据，作者表明当前最先进（SOTA）的强化学习算法在面对自然视觉噪声时会失效，揭示了现有方法往往依赖开环控制，缺乏真正的视觉理解能力。

ABSTRACT

While current benchmark reinforcement learning (RL) tasks have been useful to drive progress in the field, they are in many ways poor substitutes for learning with real-world data. By testing increasingly complex RL algorithms on low-complexity simulation environments, we often end up with brittle RL policies that generalize poorly beyond the very specific domain. To combat this, we propose three new families of benchmark RL domains that contain some of the complexity of the natural world, while still supporting fast and extensive data acquisition. The proposed domains also permit a characterization of generalization through fair train/test separation, and easy comparison and replication of results. Through this work, we challenge the RL research community to develop more robust algorithms that meet high standards of evaluation.

研究动机与目标

• 通过用真实世界的自然信号替代合成模拟器，解决当前强化学习基准的脆弱性问题，以更好地反映现实世界的复杂性。
• 通过将真实世界数据作为状态空间的一部分，实现在强化学习中公平的训练/测试划分，克服仅依赖模拟评估的局限性。
• 挑战强化学习社区开发更具鲁棒性的算法，使其能够泛化到非确定性、低复杂度的环境中。
• 证明现有SOTA强化学习算法在暴露于自然视觉噪声时会失效，表明其缺乏真正的视觉理解能力。
• 提出一种新的评估标准：用纯噪声替换观测值，以测试开环策略行为。

提出的方法

• 提出三类强化学习基准：(1) 使用自然图像进行目标定位和分类的视觉推理任务，(2) 背景采用自然视频的修改版Atari环境，(3) 将自然动态信号注入MuJoCo类环境中。
• 使用来自真实世界来源（如YouTube）的自然视频帧作为背景输入，以模拟真实世界的视觉复杂性和运动。
• 将自然信号整合到现有强化学习环境的观测空间中，以测试算法在真实世界视觉噪声和变异性下的表现。
• 在这些新基准上应用标准强化学习算法（PPO、ACKTR、A2C、DQN），评估其在自然视觉输入下的性能退化情况。
• 通过使用i.i.d.高斯噪声作为基线，隔离自然视觉流动与单纯随机性的影响。
• 使用先前研究（如Dhariwal et al., 2017；Kostrikov, 2018）的相同代码库和超参数设置，以确保可复现性和公平比较。

实验结果

研究问题

• RQ1 当当前SOTA强化学习算法暴露于自然视觉输入而非合成或静态背景时，其泛化能力在多大程度上受到影响？
• RQ2 在标准基准（如Atari或MuJoCo）上训练的强化学习智能体是否真正具备视觉推理能力，还是依赖记忆化或开环控制？
• RQ3 与静态背景或随机噪声相比，当自然视频被注入观测空间时，性能下降的程度如何？
• RQ4 能否用纯噪声替换观测值作为检测强化学习中开环策略行为的可靠诊断工具？
• RQ5 当引入自然环境信号时，视觉理解在强化学习性能中起到何种作用？

主要发现

• 当自然视频被注入背景时，Atari环境中的性能显著下降，部分算法完全失效，表明其无法处理真实世界的视觉复杂性。
• 与基线（黑色背景）相比，自然视频导致的性能差距大于与i.i.d.高斯噪声相比的差距，表明自然视觉流动比随机噪声更具挑战性。
• 在若干Atari游戏中（如Beamrider），当使用自然视频时，所有算法均无法学习到有效策略，表明当前强化学习方法对自然视觉动态缺乏鲁棒性。
• 在PixelMuJoCo基准上，即使将观测值替换为纯噪声，最先进策略仍能取得高性能，表明其作为开环控制器运行，而非反应式策略。
• 结果表明，当前强化学习算法通常无法学习视觉理解能力，而是依赖于确定性或记忆化行为，尤其在环境不可完全观测时更为明显。
• 作者观察到同一算法在不同实现之间存在性能差异（如Dhariwal et al.与Kostrikov的实现），凸显了可复现性和一致评估标准的重要性。