[论文解读] Reinforcement learning with non-ergodic reward increments: robustness via ergodicity transformations

Dominik Baumann, Erfaun Noorani+4 more|arXiv (Cornell University)|Oct 17, 2023

Auction Theory and ApplicationsDecision Sciences被引用 3

一句话总结

本文提出遍历性变换以解决强化学习中的非遍历性问题，即在非遍历环境中优化期望回报会导致策略非鲁棒。通过学习一种与状态相关的变换，使回报增量呈现遍历性，该方法能够通过时间平均优化实现鲁棒策略学习，在 Reacher 等挑战性基准上优于标准强化学习方法。

ABSTRACT

Envisioned application areas for reinforcement learning (RL) include autonomous driving, precision agriculture, and finance, which all require RL agents to make decisions in the real world. A significant challenge hindering the adoption of RL methods in these domains is the non-robustness of conventional algorithms. In particular, the focus of RL is typically on the expected value of the return. The expected value is the average over the statistical ensemble of infinitely many trajectories, which can be uninformative about the performance of the average individual. For instance, when we have a heavy-tailed return distribution, the ensemble average can be dominated by rare extreme events. Consequently, optimizing the expected value can lead to policies that yield exceptionally high returns with a probability that approaches zero but almost surely result in catastrophic outcomes in single long trajectories. In this paper, we develop an algorithm that lets RL agents optimize the long-term performance of individual trajectories. The algorithm enables the agents to learn robust policies, which we show in an instructive example with a heavy-tailed return distribution and standard RL benchmarks. The key element of the algorithm is a transformation that we learn from data. This transformation turns the time series of collected returns into one for whose increments expected value and the average over a long trajectory coincide. Optimizing these increments results in robust policies.

研究动机与目标

• 解决传统强化学习算法在非遍历环境中因优化期望回报而导致的非鲁棒性问题。
• 证明在现实应用中，单条长轨迹上的时间平均性能比集合平均的期望回报更适合作为优化目标。
• 开发一种数据驱动的方法，用于学习将非遍历回报转换为遍历增量的遍历性变换。
• 证明通过优化变换后的回报，可在不重新设计整个强化学习算法的前提下实现鲁棒策略学习。
• 基于遍历性原理而非心理假设，为风险敏感强化学习变换提供理论基础。

提出的方法

• 该方法从收集的回报轨迹中学习变换函数，将非遍历增量转换为遍历增量。
• 通过神经网络学习变换，将原始回报映射为变换后的值，确保所得增量具有遍历性。
• 算法使用变换后的回报，通过 REINFORCE 或 PPO 更新策略参数，实现对长期时间平均增长的优化。
• 该方法利用轨迹数据估计保持遍历性的变换，无需预先了解环境的动力学特性。
• 变换在收集回报后应用，可与现有的在线策略和离线策略强化学习算法无缝集成。
• 在标准强化学习基准（包括 Cart-Pole 和 Reacher）上验证该方法，包括对轨迹长度和策略成功率的消融实验。

实验结果

研究问题

• RQ1 遍历性变换能否提升非遍历环境中强化学习策略的鲁棒性？
• RQ2 通过遍历性变换优化时间平均回报，是否能带来比优化期望回报更好的长期性能？
• RQ3 能否学习一种数据驱动的变换，使原本非遍历的回报增量变为遍历？
• RQ4 与标准强化学习和风险敏感强化学习基线相比，该方法在策略稳定性和成功率方面表现如何？
• RQ5 遍历性变换能否作为强化学习中效用或风险度量的合理替代方案，其基础是统计力学而非心理学假设？

主要发现

• 在 Cart-Pole 环境中，经遍历性变换的 REINFORCE 代理在测试阶段（200 步）的回报略高于标准 REINFORCE，尽管训练时仅使用 100 步的轨迹。
• 在更具挑战性的 Reacher 环境中，仅遍历性 REINFORCE 代理成功学习到有效策略，而标准 REINFORCE 代理未能收敛。
• 所提方法成功将非遍历回报时间序列转换为具有遍历增量的形式，从而通过时间平均优化实现鲁棒策略学习。
• 该方法在不修改底层强化学习算法的前提下，提升了标准基准上的性能，证明其与现有框架的兼容性。
• 结果支持如下假设：在回报非遍历的环境中，优化期望值会导致策略非鲁棒，而遍历性变换可有效缓解此问题。
• 该方法为在现实强化学习应用中用时间平均目标替代集合平均目标提供了理论与实证基础。