[论文解读] Provably Efficient Adaptive Approximate Policy Iteration.

Botao Hao, Nevena Lazic+3 more|arXiv (Cornell University)|Feb 8, 2020

Advanced Bandit Algorithms Research被引用 9

一句话总结

该论文提出自适应近似策略迭代（AAPI），一种无需模型的强化学习算法，在无折扣、持续性的MDP中，通过对抗性在线学习结合自适应学习率与乐观损失预测，实现了 O(T^{2/3}) 的遗憾边界。该方法在函数逼近的平均奖励设置下，优于先前的 O(T^{3/4}) 遗憾边界。

ABSTRACT

Model-free reinforcement learning algorithms combined with value function approximation have recently achieved impressive performance in a variety of application domains, including games and robotics. However, the theoretical understanding of such algorithms is limited, and existing results are largely focused on episodic or discounted Markov decision processes (MDPs). In this work, we present adaptive approximate policy iteration (AAPI), a learning scheme which enjoys a O(T^{2/3}) regret bound for undiscounted, continuing learning in uniformly ergodic MDPs. This is an improvement over the best existing bound of O(T^{3/4}) for the average-reward case with function approximation. Our algorithm and analysis rely on adversarial online learning techniques, where value functions are treated as losses. The main technical novelty is the use of a data-dependent adaptive learning rate coupled with a so-called optimistic prediction of upcoming losses. In addition to theoretical guarantees, we demonstrate the advantages of our approach empirically on several environments.

研究动机与目标

• 弥合无折扣、持续性 MDP 中基于值函数逼近的无模型强化学习的理论差距。
• 在函数逼近下，为平均奖励强化学习开发一个可证明高效的算法。
• 将对抗性在线学习技术扩展至强化学习中的值函数逼近，并获得改进的遗憾边界。
• 提供一个理论基础扎实的框架，结合自适应学习率与乐观预测，用于策略迭代。

提出的方法

• 该算法将值函数逼近建模为在线学习问题，将值函数视为损失。
• 采用基于数据的自适应学习率，根据历史梯度动态调整步长。
• 乐观预测机制可预测未来损失，以减少对抗性在线学习环境中的遗憾。
• 该方法基于对抗性在线学习理论，利用遗憾最小化实现策略改进。
• 其运行环境为统一遍历 MDP，确保长期稳定性和收敛性。
• 理论分析建立了在函数逼近下平均奖励设置中 O(T^{2/3}) 的遗憾边界。

实验结果

研究问题

• RQ1 在函数逼近的平均奖励强化学习中，能否实现优于 O(T^{3/4}) 的更紧致遗憾边界？
• RQ2 自适应学习率与乐观预测如何改善无模型强化学习中值函数逼近的遗憾？
• RQ3 能否将对抗性在线学习技术扩展至持续性 MDP 中的策略迭代，并提供理论保证？
• RQ4 自适应近似策略迭代在统一遍历 MDP 中的理论性能极限是什么？

主要发现

• 所提出的 AAPI 算法在无折扣、持续性 MDP 中实现了 O(T^{2/3}) 的遗憾边界，优于先前在平均奖励情形下最优的 O(T^{3/4}) 边界。
• 基于数据的自适应学习率显著降低了对超参数调优的敏感性，并提升了收敛稳定性。
• 对未来损失的乐观预测在在线学习框架中对遗憾减少起到了关键作用。
• 在统一遍历 MDP 和函数逼近的假设下，该算法被证明是高效且理论可靠的。
• 实验结果表明 AAPI 在多个环境中均展现出实际优势，验证了其理论优势。
• 对抗性在线学习技术的整合，使得在无模型强化学习与函数逼近中获得了更强的理论保证。