[论文解读] Statistics and Samples in Distributional Reinforcement Learning

Mark Rowland, Robert Dadashi+4 more|arXiv (Cornell University)|Feb 21, 2019

Evolutionary Algorithms and Applications被引用 24

一句话总结

本文通过将算法建模为回报分布统计量的递归估计与重构分布的插补策略相结合，提出了一种统一的分布强化学习（DRL）框架。该工作提出了期望分布强化学习（EDRL），通过学习鲁棒统计量——期望值（expectiles），其为矩量的推广，实现了更高的样本效率和更优的分布近似效果，其中ER-DQN在Atari-57基准上达到了最先进性能。

ABSTRACT

We present a unifying framework for designing and analysing distributional reinforcement learning (DRL) algorithms in terms of recursively estimating statistics of the return distribution. Our key insight is that DRL algorithms can be decomposed as the combination of some statistical estimator and a method for imputing a return distribution consistent with that set of statistics. With this new understanding, we are able to provide improved analyses of existing DRL algorithms as well as construct a new algorithm (EDRL) based upon estimation of the expectiles of the return distribution. We compare EDRL with existing methods on a variety of MDPs to illustrate concrete aspects of our analysis, and develop a deep RL variant of the algorithm, ER-DQN, which we evaluate on the Atari-57 suite of games.

研究动机与目标

• 将现有DRL算法统一于基于回报分布统计量递归估计的共同统计框架下。
• 通过区分统计估计器与分布插补策略，解决分析与设计DRL算法的挑战。
• 识别哪些统计量（如矩量、分位数、期望值）可通过贝尔曼更新精确学习，并为无法精确学习的统计量提供误差保证。
• 基于期望值估计开发一种新型DRL算法EDRL，以提升鲁棒性与分布近似能力。
• 在表格型MDP与Atari-57环境上评估EDRL及其深度强化学习变体ER-DQN，以验证理论主张。

提出的方法

• 将DRL形式化为两阶段过程：(1) 递归估计回报分布的一组统计量（如矩量、期望值），(2) 插补出与这些统计量一致的完整分布。
• 引入贝尔曼封闭性（Bellman closedness）概念，以判断哪些统计量可通过贝尔曼更新精确学习，表明仅矩量满足此性质。
• 提出近似贝尔曼封闭性，用于量化并界定非封闭统计量（如分位数、期望值）的近似误差。
• 基于统计框架，设计EDRL算法，采用可微分、基于梯度的更新规则来估计期望值。
• 构建ER-DQN作为EDRL的深度强化学习扩展，使用神经网络表示期望值函数，并通过基于期望值回归的可微损失函数进行训练。
• 利用估计统计量插补的样本模拟贝尔曼备份，实现端到端训练与评估。

实验结果

研究问题

• RQ1 现有DRL算法能否在基于统计估计与分布插补的框架下实现统一？
• RQ2 哪些回报分布的统计量可通过贝尔曼更新精确学习？
• RQ3 对于非贝尔曼封闭的统计量，能否推导出具有理论误差保证的合理估计方法？
• RQ4 能否基于期望值设计新型DRL算法？其在分布近似与样本效率方面是否优于现有方法？
• RQ5 该新算法的深度强化学习变体（ER-DQN）是否在标准基准（如Atari-57）上达到最先进性能？

主要发现

• EDRL在期望值估计与分布重构方面优于EDRL-Naive，尤其在长时序或高方差环境中，得益于更稳定的训练动态。
• 随着EDRL中期望值数量的增加，插补分布与真实回报分布之间的Wasserstein距离减小，表明分布近似更优；而EDRL-Naive在期望值数量增加时性能下降。
• ER-DQN在Atari-57基准上实现了最先进性能，其在57款游戏中的中位人类归一化得分超过QR-DQN及其他基线方法。
• 在$N$-Chain环境中，EDRL即使在长时序下仍能保持准确的期望值估计，而EDRL-Naive则发生崩溃，凸显了正确统计估计的重要性。
• 该框架成功解释了为何分位数方法（如QR-DQN）虽非贝尔曼封闭，却仍具有效性，通过证明其在近似贝尔曼封闭性下可实现低近似误差。
• 实证结果证实，在某些场景下（尤其是重尾回报分布），期望值比分位数能提供更鲁棒、更具信息量的回报分布总结。