[论文解读] Sample-Efficient Multi-Objective Learning via Generalized Policy Improvement Prioritization

Lucas N. Alegre, Ana L. C. Bazzan+3 more|arXiv (Cornell University)|Jan 18, 2023

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出了一种样本高效的基于模型的多目标强化学习算法，利用广义策略改进（GPI）来优先处理学习目标和经验回放，确保单调改进并收敛至最优或ε-最优解。该方法在离散和连续控制任务中均优于最先进方法，其优先级方案基于GPI理论形式化推导，具有优异性能。

ABSTRACT

Multi-objective reinforcement learning (MORL) algorithms tackle sequential decision problems where agents may have different preferences over (possibly conflicting) reward functions. Such algorithms often learn a set of policies (each optimized for a particular agent preference) that can later be used to solve problems with novel preferences. We introduce a novel algorithm that uses Generalized Policy Improvement (GPI) to define principled, formally-derived prioritization schemes that improve sample-efficient learning. They implement active-learning strategies by which the agent can (i) identify the most promising preferences/objectives to train on at each moment, to more rapidly solve a given MORL problem; and (ii) identify which previous experiences are most relevant when learning a policy for a particular agent preference, via a novel Dyna-style MORL method. We prove our algorithm is guaranteed to always converge to an optimal solution in a finite number of steps, or an $ε$-optimal solution (for a bounded $ε$) if the agent is limited and can only identify possibly sub-optimal policies. We also prove that our method monotonically improves the quality of its partial solutions while learning. Finally, we introduce a bound that characterizes the maximum utility loss (with respect to the optimal solution) incurred by the partial solutions computed by our method throughout learning. We empirically show that our method outperforms state-of-the-art MORL algorithms in challenging multi-objective tasks, both with discrete and continuous state and action spaces.

研究动机与目标

• 解决多目标强化学习（MORL）中的样本效率低下问题，即为不同目标权衡学习多个策略需要大量环境交互。
• 开发一种有原则的、形式化基础的方法，用于在每个学习步骤中选择训练的偏好权重，以加快收敛速度并提升解的质量。
• 通过一种新颖的Dyna风格MORL方法，识别最相关的过往经验用于规划，实现对过去经验的高效重用。
• 确保部分解的单调改进，并在学习过程中提供效用损失的理论边界。
• 将基于模型的MORL扩展至连续状态和动作空间，克服先前基于表格或离散方法的局限性。

提出的方法

• 该算法利用广义策略改进（GPI）推导出每个候选偏好权重向量的性能提升下界，从而实现对最有望提升的目标的优先训练。
• 提出一种Dyna风格的规划机制，基于其对特定偏好权重下策略改进的潜力，选择性地采样和重放过往经验。
• 该方法维护一个策略的凸覆盖集（CCS），并通过逐步改进确保即使在策略次优时也能实现单调改进。
• 形式化界定了每个学习迭代中部分解的最大效用损失，为训练过程中的解质量提供理论保证。
• 该算法设计为一种即时算法（anytime algorithm），可持续改进CCS，并可在学习过程中的任意时刻返回有效解。
• 支持连续状态和动作空间，使其适用于超越表格或离散设置的真实复杂环境。

实验结果

研究问题

• RQ1 基于GPI的偏好权重优先级方案是否能加快MORL的收敛速度并提升样本效率？
• RQ2 一种选择性重用过往经验的Dyna风格规划机制是否能加速针对特定代理偏好的策略学习？
• RQ3 所提算法是否能保证在训练过程中即使策略次优，也能实现部分解的单调改进？
• RQ4 该方法是否能为学习过程中瞬态解所承受的最大效用损失提供形式化边界？
• RQ5 该算法能否在保持理论保证和样本效率的前提下，扩展至连续状态和动作空间？

主要发现

• 所提算法在离散和连续控制任务中均优于最先进MORL算法，以更少的环境交互次数实现更优性能。
• 在连续控制基准测试中，该方法即使仅使用竞争进化算法十分之一的环境交互预算，仍能超越其性能。
• 该算法保证在有限步内收敛至最优解，或在资源受限条件下收敛至ε-最优解，且效用损失有界。
• 该方法在整个学习过程中单调提升凸覆盖集（CCS）的质量，即使中间策略次优亦成立。
• 对效用损失的理论边界提供了每个迭代中解质量的正式度量，实现可靠的进度监控。
• 基于GPI的优先级方案优于基于启发式的方法（如OLS），能更准确识别高影响力偏好权重进行训练，减少计算浪费。