[论文解读] Statistical Inference of the Value Function for Reinforcement Learning in Infinite Horizon Settings

Chengchun Shi, Shengxing Zhang+2 more|arXiv (Cornell University)|Jan 13, 2020

Reinforcement Learning in Robotics参考文献 52被引用 18

一句话总结

本文提出了一种新方法——顺序值评估（Sequential Value Evaluation, SAVE），用于在无限时域强化学习设置中构建策略价值函数的有效置信区间（CIs）。通过使用随基函数数量增长的系列/筛法对动作价值函数（Q-函数）进行建模，该方法在双向渐近条件下（轨迹数量或决策点数量增加）即使策略为数据相关时，也能实现渐近有效的置信区间，并在最优策略不唯一时仍保持名义上的覆盖概率。

ABSTRACT

Reinforcement learning is a general technique that allows an agent to learn an optimal policy and interact with an environment in sequential decision making problems. The goodness of a policy is measured by its value function starting from some initial state. The focus of this paper is to construct confidence intervals (CIs) for a policy's value in infinite horizon settings where the number of decision points diverges to infinity. We propose to model the action-value state function (Q-function) associated with a policy based on series/sieve method to derive its confidence interval. When the target policy depends on the observed data as well, we propose a SequentiAl Value Evaluation (SAVE) method to recursively update the estimated policy and its value estimator. As long as either the number of trajectories or the number of decision points diverges to infinity, we show that the proposed CI achieves nominal coverage even in cases where the optimal policy is not unique. Simulation studies are conducted to back up our theoretical findings. We apply the proposed method to a dataset from mobile health studies and find that reinforcement learning algorithms could help improve patient's health status. A Python implementation of the proposed procedure is available at https://github.com/shengzhang37/SAVE.

研究动机与目标

• 解决无限时域强化学习设置中策略价值函数缺乏统计推断方法的问题。
• 构建在策略从数据中估计时仍能保持名义覆盖概率的策略价值置信区间（CIs）。
• 确保在最优策略不唯一这一实际应用中常见挑战下仍能实现有效推断。
• 开发一种对有限轨迹但发散的决策点数量具有鲁棒性的方法，此类情况常见于移动健康和纵向研究。
• 提供一个理论基础坚实且实用的框架，用于在真实世界部署前评估学习策略的影响。

提出的方法

• 使用 $L$ 个基函数的系列/筛法对动作价值函数（Q-函数）进行建模，其中 $L$ 随观测总数增长。
• 在SAVE方法中应用顺序估计策略，随着新数据的到来递归更新策略及其价值估计器。
• 利用筛法非参数估计Q-函数，从而灵活逼近复杂的价值函数。
• 在弱正则性条件下，通过反转估计Q-函数的渐近分布，推导策略价值的置信区间。
• 在双向渐近条件下（轨迹数量或决策点数量发散至无穷大）建立价值估计器的渐近正态性。
• 通过确保在适当正则性条件下策略和价值函数的估计误差保持受控，处理数据相关策略。

实验结果

研究问题

• RQ1 当策略从数据中估计时，是否可以在无限时域强化学习中为策略价值函数构建有效的置信区间？
• RQ2 当最优策略不唯一时，所提出的方法是否仍能保持置信区间的名义覆盖概率？
• RQ3 在轨迹数量有限但决策点数量庞大的设置下（如移动健康应用中常见），该方法表现如何？
• RQ4 基于筛法的Q-函数估计是否能在弱正则性条件和发散的基函数维度下提供有效推断？
• RQ5 价值估计器的收敛速率是多少，其如何依赖于轨迹数量和决策点数量？

主要发现

• 所提出的置信区间在双向渐近条件下实现了名义覆盖概率，即使最优策略不唯一亦成立。
• 当轨迹数量或决策点数量发散至无穷大时，该方法仍能保持有效推断。
• 价值函数的估计误差以 $O_p(|\mathcal{I}|^{-2b_*/(2+\alpha)})$ 的速率收敛，其中 $\mathcal{I}$ 索引数据，$b_*$ 和 $\alpha$ 为光滑性参数。
• 基于筛法的Q-函数估计确保了随着基函数数量随样本量增长，对真实Q-函数的逼近保持一致。
• 理论结果表明，在所提条件下，策略估计的偏差会消失，从而实现有效推断。
• 模拟研究验证了理论发现，表明置信区间具有准确的覆盖概率，并在各种数据生成机制下表现出稳健性。