[论文解读] Optimizing for the Future in Non-Stationary MDPs

Yash Chandak, Georgios Theocharous+4 more|arXiv (Cornell University)|May 17, 2020

Advanced Bandit Algorithms Research参考文献 66被引用 8

一句话总结

本文提出 Prognosticator，一种策略梯度算法，通过使用反事实估计和曲线拟合来预测策略性能趋势，主动优化非平稳马尔可夫决策过程（NS-MDPs）中的未来性能。通过基于拟合的性能趋势对历史数据进行非均匀重加权，该方法减少了性能滞后，在三个模拟的非平稳环境中优于在线适应技术。

ABSTRACT

Most reinforcement learning methods are based upon the key assumption that the transition dynamics and reward functions are fixed, that is, the underlying Markov decision process is stationary. However, in many real-world applications, this assumption is violated, and using existing algorithms may result in a performance lag. To proactively search for a good future policy, we present a policy gradient algorithm that maximizes a forecast of future performance. This forecast is obtained by fitting a curve to the counter-factual estimates of policy performance over time, without explicitly modeling the underlying non-stationarity. The resulting algorithm amounts to a non-uniform reweighting of past data, and we observe that minimizing performance over some of the data from past episodes can be beneficial when searching for a policy that maximizes future performance. We show that our algorithm, called Prognosticator, is more robust to non-stationarity than two online adaptation techniques, on three simulated problems motivated by real-world applications.

研究动机与目标

• 解决现实世界强化学习应用中因环境动态和奖励随时间变化而导致的性能滞后问题。
• 开发一种主动搜索未来有效策略的方法，而非在变化发生后才作出反应。
• 实现在不显式建模底层非平稳动态或奖励变化的情况下，高效的数据策略优化。
• 在平稳设置中保持与标准策略梯度方法的兼容性，同时在非平稳环境中提升鲁棒性。

提出的方法

• 使用先前回合轨迹的反事实推理估计过去策略性能。
• 使用最小二乘法或加权最小二乘法拟合单变量回归曲线，以建模策略性能随时间的趋势。
• 对预测的未来性能关于策略参数求导，以计算策略优化的梯度。
• 基于拟合的性能趋势对历史数据进行非均匀重加权，使过去性能最小化有助于改善未来预测。
• 使用基函数（傅里叶或多项式）建模随时间变化的性能趋势，其维度通过超参数搜索进行调整。
• 将该方法集成到 PPO 等策略梯度框架中，结合重要性采样和裁剪以保证稳定性。

实验结果

研究问题

• RQ1 能否设计一种策略梯度方法，在不建模底层非平稳性的情况下，预测并优化非平稳 MDP 中的未来性能？
• RQ2 基于性能趋势对历史数据进行非均匀重加权，在动态环境中对未来的策略优化有何影响？
• RQ3 与在线适应技术相比，该方法在非平稳设置中在多大程度上减少了性能滞后？
• RQ4 该方法对控制探索与利用之间权衡的超参数在非平稳环境中的敏感性如何？
• RQ5 该方法在平稳环境中是否会退化为标准策略梯度？

主要发现

• Prognosticator 在三个非平稳环境（推荐系统、目标追逐环境、糖尿病治疗模拟）中显著减少了与 FTRL-PG 和 ONPG 相比的性能滞后。
• 该方法的性能紧密跟踪随时间变化的最大可实现奖励趋势，尤其在可观察真实奖励动态的非平稳推荐系统中表现明显。
• 使用傅里叶或多项式基函数进行趋势建模，相比缺乏足够灵活性的线性基函数，性能更优。
• 该算法通过利用所有历史回合实现数据效率，并在不显式建模动态变化的情况下实现稳定优化。
• 在平稳环境中，Prognosticator 退化为标准策略梯度，确保在非平稳性不存在时无性能损失。
• 该方法对控制探索与利用之间权衡的超参数较为敏感，表明在非平稳环境中需要仔细调参。