[论文解读] Parametric Return Density Estimation for Reinforcement Learning

Tetsuro Morimura, Masashi Sugiyama+3 more|arXiv (Cornell University)|Mar 15, 2012

Evolutionary Algorithms and Applications参考文献 17被引用 41

一句话总结

本文提出了一种参数化方法，用于在强化学习中估计回报的概率密度，通过将贝尔曼方程扩展以建模条件回报密度。通过使用高斯分布、拉普拉斯分布和偏斜拉普拉斯分布，该方法在广义时序差分学习算法下实现了风险敏感和鲁棒的强化学习，并通过数值实验验证了其在风险感知准则下的性能提升。

ABSTRACT

Most conventional Reinforcement Learning (RL) algorithms aim to optimize decision-making rules in terms of the expected returns. However, especially for risk management purposes, other risk-sensitive criteria such as the value-at-risk or the expected shortfall are sometimes preferred in real applications. Here, we describe a parametric method for estimating density of the returns, which allows us to handle various criteria in a unified manner. We first extend the Bellman equation for the conditional expected return to cover a conditional probability density of the returns. Then we derive an extension of the TD-learning algorithm for estimating the return densities in an unknown environment. As test instances, several parametric density estimation algorithms are presented for the Gaussian, Laplace, and skewed Laplace distributions. We show that these algorithms lead to risk-sensitive as well as robust RL paradigms through numerical experiments.

研究动机与目标

• 为解决传统强化学习算法仅优化期望回报的局限性，该局限性在风险敏感应用中可能不足。
• 开发一个统一框架，用于估计回报的完整密度，从而支持各种风险敏感性能准则的使用。
• 将贝尔曼方程和时序差分学习扩展，以处理未知环境中回报的条件概率密度。
• 设计适用于特定分布（高斯分布、拉普拉斯分布、偏斜拉普拉斯分布）的实用参数化密度估计算法，适用于强化学习。
• 通过数值实验展示所提方法在实现鲁棒和风险敏感决策方面的有效性。

提出的方法

• 将标准贝尔曼方程扩展，以建模回报的条件概率密度，而不仅限于期望回报。
• 推导一种广义时序差分学习算法，基于时序差分误差更新参数化回报密度模型的参数。
• 使用参数族（高斯分布、拉普拉斯分布、偏斜拉普拉斯分布）表示回报密度，以实现可处理且高效的学习。
• 制定参数更新规则，以最小化基于扩展贝尔曼方程推导出的密度估计损失。
• 在无模型、离策略设置下应用该方法，以在未知环境中估计回报密度。
• 利用估计的回报密度计算风险敏感度量，如风险价值（VaR）和预期短缺。

实验结果

研究问题

• RQ1 是否可以使用高斯分布、拉普拉斯分布和偏斜拉普拉斯分布等参数化分布有效建模强化学习中的回报密度？
• RQ2 如何将贝尔曼方程广义化以支持回报的条件密度估计？
• RQ3 所提出的时序差分学习扩展是否能在未知环境中实现回报密度的稳定且准确的估计？
• RQ4 该方法在多大程度上提升了在风险敏感和鲁棒强化学习准则下的性能？
• RQ5 回报密度的不同参数化形式在多大程度上影响最终策略的鲁棒性和风险敏感性？

主要发现

• 所提方法成功将时序差分学习扩展至估计回报的完整密度，从而在强化学习中实现风险敏感控制。
• 数值实验表明，该方法在风险感知准则（如风险价值和预期短缺）下实现了性能提升。
• 使用偏斜拉普拉斯分布相比高斯分布或标准拉普拉斯分布，能更好地灵活建模重尾和非对称的回报分布。
• 参数化密度估计框架使得在单一学习算法中统一处理多种风险敏感性能度量成为可能。
• 该算法对分布偏移表现出鲁棒性，并在风险敏感环境中优于基于期望回报的标准强化学习方法。
• 该方法可在无需额外轨迹采样或复杂采样过程的情况下，高效计算风险度量。