[论文解读] Optimal and instance-dependent guarantees for Markovian linear stochastic approximation

Wenlong Mou, Ashwin Pananjady+2 more|arXiv (Cornell University)|Dec 23, 2021

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

本文在马尔可夫采样下建立了线性随机逼近的最优、实例相关的非渐近误差界。证明了Polyak–Ruppert平均化方法在维度 $d$ 和混合时间 $t_{\mathrm{mix}}$ 上具有精确的依赖关系，达到极小极大最优误差，并为TD($\lambda$)和线性自回归模型提供了实例最优性保证。

ABSTRACT

We study stochastic approximation procedures for approximately solving a $d$-dimensional linear fixed point equation based on observing a trajectory of length $n$ from an ergodic Markov chain. We first exhibit a non-asymptotic bound of the order $t_{\mathrm{mix}} frac{d}{n}$ on the squared error of the last iterate of a standard scheme, where $t_{\mathrm{mix}}$ is a mixing time. We then prove a non-asymptotic instance-dependent bound on a suitably averaged sequence of iterates, with a leading term that matches the local asymptotic minimax limit, including sharp dependence on the parameters $(d, t_{\mathrm{mix}})$ in the higher order terms. We complement these upper bounds with a non-asymptotic minimax lower bound that establishes the instance-optimality of the averaged SA estimator. We derive corollaries of these results for policy evaluation with Markov noise -- covering the TD($λ$) family of algorithms for all $λ\in [0, 1)$ -- and linear autoregressive models. Our instance-dependent characterizations open the door to the design of fine-grained model selection procedures for hyperparameter tuning (e.g., choosing the value of $λ$ when running the TD($λ$) algorithm).

研究动机与目标

• 为具有马尔可夫数据的线性随机逼近提供非渐近、实例相关的误差界，以捕捉特定问题的难度。
• 通过证明匹配的极小极大下界，建立Polyak–Ruppert平均估计量的统计最优性。
• 在马尔可夫噪声下，为通过TD($\lambda$)和线性自回归模型进行策略评估推导出精确的有限样本保证。
• 利用实例相关的性能表征，实现对超参数（如TD($\lambda$)中的 $\lambda$）的细粒度模型选择。
• 提出一种引导性论证方法，用于分析马尔可夫随机逼近，实现更优的收敛速率及对 $d$ 和 $t_{\mathrm{mix}}$ 的依赖性。

提出的方法

• 分析标准的常步长 $\eta$ 随机逼近方案，其更新规则为 $\theta_{t+1} = (1-\eta)\theta_t + \eta(L_{t+1}\theta_t - b_{t+1})$。
• 对迭代序列应用Polyak–Ruppert平均化，定义 $\widehat{\theta}_n = \frac{1}{n-n_0}\sum_{t=n_0}^{n-1} \theta_t$，其中 $n_0$ 为预 burn-in 期。
• 推导出平均估计量平方误差的非渐近上界，其主导项与局部渐近极小极大极限一致。
• 使用一种新颖的引导性论证方法，控制马尔可夫依赖性和混合时间 $t_{\mathrm{mix}}$ 下的误差传播。
• 在给定马尔可夫链实例的邻域内建立非渐近局部极小极大下界，以验证实例最优性。
• 将结果应用于策略评估（$\lambda \in [0,1)$ 时的TD($\lambda$)）和线性自回归模型，表明样本复杂度为 $O(t_{\mathrm{mix}}d)$ 时达到最优。

实验结果

研究问题

• RQ1 在马尔可夫采样下，线性随机逼近的最优非渐近误差率是什么？其对 $d$ 和 $t_{\mathrm{mix}}$ 的依赖关系如何？
• RQ2 Polyak–Ruppert平均估计量能否在问题特定参数的误差依赖关系上实现实例最优性能？
• RQ3 TD($\lambda$) 和线性自回归模型的误差界如何随 $\lambda$、$d$ 和 $t_{\mathrm{mix}}$ 变化？
• RQ4 所提出的估计量在有限样本下是否达到极小极大最优？能否通过非渐近下界来验证这一点？
• RQ5 实例相关的保证是否能支持在流数据下策略评估中超参数（如 $\lambda$）的自适应选择？

主要发现

• 标准SA的最后一个迭代点的平方误差在非渐近设置下被限制为 $O(t_{\mathrm{mix}} \frac{d}{n})$。
• Polyak–Ruppert平均估计量实现了实例相关的误差界，其主导项与局部渐近极小极大极限一致。
• 上界在高阶项中包含了对 $d$ 和 $t_{\mathrm{mix}}$ 的精确依赖关系，反映了问题的特定难度。
• 建立了非渐近极小极大下界，证明了平均估计量的实例最优性。
• 结果表明，在马尔可夫采样下求解线性固定点方程的样本复杂度为 $O(t_{\mathrm{mix}} d)$，达到最优。
• 针对TD($\lambda$)和线性自回归模型推导出推论，表明所提出的界在这些设置下是紧致的。