[论文解读] On Well-posedness and Minimax Optimal Rates of Nonparametric Q-function Estimation in Off-policy Evaluation

Xiaohong Chen, Zhengling Qi|arXiv (Cornell University)|Jan 17, 2022

Advanced Causal Inference Techniques被引用 5

一句话总结

该论文通过将离策略评估中的非参数Q函数估计重新表述为非参数工具变量（NPIV）问题，首次建立了其最小最大最优率。在温和条件下证明了问题的适定性，实现了与经典非参数回归（Stone, 1982）相同的$L^2$-范数收敛速率，并提出了一种Sieve两阶段最小二乘估计器，该估计器在Hölder类和Sobolev类Q函数下，于一致范数和$L^2$-范数中均达到了最优收敛速率。

ABSTRACT

We study the off-policy evaluation (OPE) problem in an infinite-horizon Markov decision process with continuous states and actions. We recast the $Q$-function estimation into a special form of the nonparametric instrumental variables (NPIV) estimation problem. We first show that under one mild condition the NPIV formulation of $Q$-function estimation is well-posed in the sense of $L^2$-measure of ill-posedness with respect to the data generating distribution, bypassing a strong assumption on the discount factor $γ$ imposed in the recent literature for obtaining the $L^2$ convergence rates of various $Q$-function estimators. Thanks to this new well-posed property, we derive the first minimax lower bounds for the convergence rates of nonparametric estimation of $Q$-function and its derivatives in both sup-norm and $L^2$-norm, which are shown to be the same as those for the classical nonparametric regression (Stone, 1982). We then propose a sieve two-stage least squares estimator and establish its rate-optimality in both norms under some mild conditions. Our general results on the well-posedness and the minimax lower bounds are of independent interest to study not only other nonparametric estimators for $Q$-function but also efficient estimation on the value of any target policy in off-policy settings.

研究动机与目标

• 为具有连续状态和动作的无限时域MDP中的非参数Q函数估计建立最小最大下界。
• 通过在温和正则性条件下证明$L^2$-度量下的适定性，解决先前工作中对强折扣因子假设的依赖。
• 开发一种Sieve两阶段最小二乘估计器，使其在一致范数和$L^2$-范数中均达到最小最大最优收敛速率。
• 提供通用的理论工具——适定性和最小最大下界——可推广至其他离策略估计器，包括策略值和重要性权重估计。

提出的方法

• 利用贝尔曼方程将离策略Q函数估计重新表述为非参数工具变量（NPIV）问题。
• 在温和条件下建立NPIV公式的$L^2$-度量适定性，避免了对强折扣因子（$\gamma$）的限制。
• 推导出在一致范数和$L^2$-范数下Q函数及其导数估计的最小最大下界，其速率与经典非参数回归速率一致（Stone, 1982）。
• 提出一种使用B样条和小波等基函数近似Q函数的Sieve两阶段最小二乘（2SLS）估计器。
• 通过证明在温和正则性条件下，Sieve 2SLS估计器可达到所推导的最小最大下界，从而建立其速率最优性。
• 应用矩阵伯恩斯坦不等式和Berbee的耦合引理，控制在依赖时间序列数据设置下的估计误差的高概率界。

实验结果

研究问题

• RQ1 在何种条件下，离策略评估中非参数Q函数估计在$L^2$-度量意义下是适定的，且无需对折扣因子$\gamma$施加强假设？
• RQ2 在具有连续状态和动作的一般MDP中，Q函数及其导数的非参数估计在一致范数和$L^2$-范数下的最小最大最优收敛速率是什么？
• RQ3 Sieve两阶段最小二乘估计器能否在离策略设置中实现Q函数估计的最小最大最优速率？
• RQ4 所推导的最小最大下界与经典非参数回归速率相比如何？这表明离策略Q估计的内在难度如何？
• RQ5 适定性和最小最大结果在多大程度上可推广至其他离策略估计问题，如策略值或重要性权重估计？

主要发现

• 在温和正则性条件下，Q函数估计的NPIV公式在$L^2$-度量意义下是适定的，消除了先前工作中对强折扣因子（$\gamma$）限制的依赖。
• 一致范数和$L^2$-范数下Q函数估计的最小最大下界与经典非参数回归速率一致（Stone, 1982），表明从最坏情况速率角度看，离策略Q估计并不比标准非参数回归更困难。
• 所提出的Sieve两阶段最小二乘估计器在一致范数和$L^2$-范数下均达到了最小最大最优速率，其中B样条和小波估计器对Hölder类Q函数实现了一致范数下限。
• 对于Sobolev类Q函数，多种线性Sieve估计器（如多项式、余弦函数、样条、小波）均实现了$L^2$-范数下的最小最大下界。
• 在温和条件下推导出的$L^2$-范数收敛速率足以实现高效估计，并支持对目标策略值的最优推断。
• 所提出的通用适定性和最小最大下界结果具有独立研究价值，并可推广至其他离策略估计问题，包括边际重要性权重估计。