[论文解读] On Multi-objective Policy Optimization as a Tool for Reinforcement Learning.

Abbas Abdolmaleki, Sandy H. Huang+12 more|arXiv (Cornell University)|Jun 15, 2021

Reinforcement Learning in Robotics参考文献 52被引用 7

一句话总结

本文将多目标强化学习（MORL）视为提升深度强化学习的统一原则，提出DiME——一种尺度不变的算法，同时优化任务奖励与行为克隆等辅助目标。通过将模仿学习与离线强化学习视为多目标问题，该方法在离线强化学习基准上表现出色，优于当前最先进方法。

ABSTRACT

Many advances that have improved the robustness and efficiency of deep reinforcement learning (RL) algorithms can, in one way or another, be understood as introducing additional objectives, or constraints, in the policy optimization step. This includes ideas as far ranging as exploration bonuses, entropy regularization, and regularization toward teachers or data priors when learning from experts or in offline RL. Often, task reward and auxiliary objectives are in conflict with each other and it is therefore natural to treat these examples as instances of multi-objective (MO) optimization problems. We study the principles underlying MORL and introduce a new algorithm, Distillation of a Mixture of Experts (DiME), that is intuitive and scale-invariant under some conditions. We highlight its strengths on standard MO benchmark problems and consider case studies in which we recast offline RL and learning from experts as MO problems. This leads to a natural algorithmic formulation that sheds light on the connection between existing approaches. For offline RL, we use the MO perspective to derive a simple algorithm, that optimizes for the standard RL objective plus a behavioral cloning term. This outperforms state-of-the-art on two established offline RL benchmarks.

研究动机与目标

• 将探索奖励、熵正则化和模仿学习等多样化的深度强化学习改进方法统一于多目标强化学习（MORL）框架之下。
• 通过将任务奖励与辅助目标（如专家模仿、探索）之间的固有冲突形式化为多目标优化问题，解决其冲突。
• 开发一种尺度不变的算法，确保在不同目标尺度下保持性能一致性。
• 通过将MORL视角应用于离线强化学习与模仿学习，展示其实际优势，从而实现性能提升。

提出的方法

• 提出DiME（专家混合的蒸馏），一种多目标策略优化算法，通过加权和或标量化方法联合组合任务奖励与辅助目标。
• 采用尺度不变的公式化方法，确保在不同目标相对尺度下优化性能保持一致。
• 通过将标准强化学习目标与行为克隆项结合，将离线强化学习重新形式化为多目标问题，以匹配专家演示。
• 采用专家混合方法，蒸馏出在任务表现与专家行为之间取得平衡的策略，提升泛化能力。
• 应用带自适应加权的标量化多目标优化，以在训练过程中平衡相互竞争的目标。
• 采用蒸馏机制，促使策略在最大化任务奖励的同时与专家数据保持一致。

实验结果

研究问题

• RQ1 现有的深度强化学习改进方法（如熵正则化与专家模仿）能否统一于单一多目标优化框架之下？
• RQ2 如何使多目标强化学习具备尺度不变性，以确保在不同目标尺度下实现稳定且一致的优化？
• RQ3 将离线强化学习重新形式化为多目标问题，是否能带来相较于标准方法的性能提升？
• RQ4 MORL视角能否揭示行为克隆与离线强化学习等现有强化学习算法之间的新联系？

主要发现

• DiME算法通过联合优化任务奖励与行为克隆，在两个成熟的离线强化学习基准上实现了最先进性能。
• 多目标视角为结合模仿学习与离线强化学习目标提供了自然且直观的公式化方式。
• 在特定条件下，所提出的算法具备尺度不变性，确保在不同目标量级下优化性能保持一致。
• 将离线强化学习重新形式化为多目标问题，可导出一种简单但高效的算法，在标准基准上优于现有方法。