[论文解读] S-RL Toolbox: Environments, Datasets and Evaluation Metrics for State Representation Learning

Antonin Raffin, Ashley Hill+4 more|arXiv (Cornell University)|Sep 25, 2018

Reinforcement Learning in Robotics参考文献 8被引用 20

一句话总结

该论文介绍了S-RL工具箱，这是一个全面的框架，为强化学习中的状态表征学习（SRL）提供标准化的环境、数据集、评估指标和可视化工具。该工具箱可高效训练和比较各类SRL方法（如自编码器、前向/逆向模型以及机器人先验），并证明了学习到的表征在样本效率方面显著优于原始像素，使用仅100万次时间步长训练的策略在性能上已接近真实状态表现。

ABSTRACT

State representation learning aims at learning compact representations from raw observations in robotics and control applications. Approaches used for this objective are auto-encoders, learning forward models, inverse dynamics or learning using generic priors on the state characteristics. However, the diversity in applications and methods makes the field lack standard evaluation datasets, metrics and tasks. This paper provides a set of environments, data generators, robotic control tasks, metrics and tools to facilitate iterative state representation learning and evaluation in reinforcement learning settings.

研究动机与目标

• 解决强化学习中状态表征学习（SRL）缺乏标准化评估基准的问题。
• 为多样化机器人控制任务中的SRL方法提供统一的训练、评估与比较框架。
• 通过提供高速模拟环境（250 FPS）和可重用数据集，实现快速、统计可靠的实验。
• 引入定性和定量评估指标，以解释和评估学习到的状态表征的质量。
• 通过在SRL流程中整合机器人先验和任务特定设计，促进迁移学习与泛化能力。

提出的方法

• 该框架包含四个复杂度逐步提升的模拟环境：一维和二维导航任务，以及两个机械臂控制任务（静态目标和动态目标）。
• 提供数据生成器，可从这些环境中快速生成大规模、多样化的数据集（例如，在两分钟内生成20,000个样本）。
• 实现的SRL方法包括自编码器（AE）、变分自编码器（VAE）、前向与逆向动力学模型，以及机器人先验（如几何、运动学约束）。
• 所有SRL模型采用共享的神经网络架构（修改后的ResNet），并使用批量归一化和ReLU激活函数，训练优化器为Adam。
• 评估采用PPO（近端策略优化）算法，所有方法使用一致的超参数设置，性能通过100次实验的平均回合奖励进行衡量。
• 集成可视化工具与交互式状态空间探索功能，用于解释学习到的表征，并评估其解耦性与紧凑性。

实验结果

研究问题

• RQ1 不同SRL方法（如自编码器、前向模型、机器人先验）在下游强化学习性能方面如何比较？
• RQ2 与原始像素输入相比，SRL表征在多大程度上能降低强化学习的样本复杂度？
• RQ3 SRL方法在保留任务相关信 息的同时，能多好地去除无关的感官噪声？
• RQ4 当使用任务特定先验进行训练时，学习到的表征在相似任务之间是否具备良好的泛化能力？
• RQ5 定性与定量评估指标在多大程度上与实际的强化学习性能及状态表征的可解释性相关？

主要发现

• 在一维导航任务中，使用真实状态训练的策略在500万次时间步长内获得平均奖励234.4 ± 1.3，而使用原始像素的策略仅达到231.5 ± 3.1，表现接近。
• 在二维导航任务中，原始像素在500万次时间步长后仅获得2.6 ± 0.3的平均奖励，而自编码器达到3.4 ± 0.3，显示出显著的性能差距。
• 在随机目标的机械臂环境中，自编码器在500万次时间步长后获得3.0 ± 0.4的平均奖励，而原始像素仅达2.0 ± 0.3，表明样本效率显著提升。
• 在动态目标机械臂任务中，自编码器获得3.0 ± 0.4的平均奖励，显著优于原始像素的2.0 ± 0.3，证明其对动态变化的鲁棒性。
• S-RL工具箱可在8核机器上于1小时内完成PPO智能体在100万步内的训练，环境运行速度达250 FPS，支持快速迭代与统计可靠性。
• 该框架的可视化工具支持对状态空间的交互式探索，揭示了解耦且可解释的表征，尤其在使用机器人先验时效果更佳。