[论文解读] Reinforcement Learning with Automated Auxiliary Loss Search

Tairan He, Yuge Zhang+6 more|arXiv (Cornell University)|Oct 12, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出自动化辅助损失搜索（A2LS），一种在庞大辅助损失函数空间中使用进化搜索来自动发现强化学习最优表征的方法。A2LS在多种任务中达到最先进性能——包括基于图像、向量、部分可观察性设置，甚至Atari游戏——展现出超越人工设计基线的强泛化能力和样本效率。

ABSTRACT

A good state representation is crucial to solving complicated reinforcement learning (RL) challenges. Many recent works focus on designing auxiliary losses for learning informative representations. Unfortunately, these handcrafted objectives rely heavily on expert knowledge and may be sub-optimal. In this paper, we propose a principled and universal method for learning better representations with auxiliary loss functions, named Automated Auxiliary Loss Search (A2LS), which automatically searches for top-performing auxiliary loss functions for RL. Specifically, based on the collected trajectory data, we define a general auxiliary loss space of size $7.5 imes 10^{20}$ and explore the space with an efficient evolutionary search strategy. Empirical results show that the discovered auxiliary loss (namely, A2-winner) significantly improves the performance on both high-dimensional (image) and low-dimensional (vector) unseen tasks with much higher efficiency, showing promising generalization ability to different settings and even different benchmark domains. We conduct a statistical analysis to reveal the relations between patterns of auxiliary losses and RL performance.

研究动机与目标

• 解决强化学习中依赖专家直觉且可能与最终强化学习性能不一致的手动设计辅助损失的次优性问题。
• 开发一种通用的自动化方法，以发现高性能的辅助损失函数，从而提升状态表征学习能力。
• 评估所发现损失在不同强化学习设置下的泛化能力，包括不同的观测模态、网络架构和基准领域。
• 通过完整搜索过程的分析，揭示辅助损失结构与强化学习性能之间的统计模式。

提出的方法

• A2LS将辅助损失搜索建模为双层优化问题：外层循环使用进化算法搜索最优辅助损失，内层循环则使用候选损失训练强化学习智能体。
• 该方法定义了一个规模达 $7.5 \times 10^{20}$ 的全面搜索空间，涵盖从轨迹数据中衍生出的多样化辅助损失配置。
• 在一组小型模拟环境（DeepMind Control Suite）上应用进化搜索，以发现表现最佳的损失，命名为 A2-winner。
• 在未见过的任务上评估所发现的 A2-winner 损失，包括高维（图像）和低维（向量）观测，以及部分可观察和离散控制设置。
• 对整个进化搜索轨迹进行统计分析，以关联损失模式与强化学习性能。

实验结果

研究问题

• RQ1 自动化方法能否发现显著优于人工设计的辅助损失函数，从而提升强化学习性能？
• RQ2 所发现的辅助损失是否能在不同观测模态（如图像与向量）和强化学习环境中实现泛化？
• RQ3 辅助损失中哪些结构模式与强化学习性能提升相关，且能否系统性地识别？
• RQ4 A2-winner 损失在包括 Atari 在内的多样化强化学习基准上的性能，与强基线相比如何？

主要发现

• 通过自动化搜索发现的 A2-winner 损失，在高维（图像）和低维（向量）强化学习任务中，显著提升了样本效率和最终性能。
• 该方法在未见过的环境中表现出有效的泛化能力，包括连续控制中的不同机器人、部分可观察设置，甚至 Atar 2600 游戏的离散控制领域。
• A2-winner 损失在所有评估基准上均优于强基线，包括内在好奇心、基于预测的损失以及标准辅助目标。
• 统计分析表明，强调时间一致性和多步预测模式的损失函数与更高的强化学习性能密切相关。