[论文解读] Variance-Aware Confidence Set: Variance-Dependent Bound for Linear Bandits and Horizon-Free Bound for Linear Mixture MDP

Zihan Zhang, Jiaqi Yang+2 more|arXiv (Cornell University)|Jan 29, 2021

Advanced Bandit Algorithms Research参考文献 39被引用 9

一句话总结

该论文为线性Bandits和线性混合MDP提出了方差感知的置信集，利用新颖的剥除技术、递归方差估计和凸潜能引理。其在首次实现了线性Bandits的方差依赖 regret 上界，其规模为 $\widetilde{O}(\mathrm{poly}(d)\sqrt{1 + \sum \sigma_i^2})$，并在首次实现了线性混合MDP的时域无关 regret 上界，其规模为 $\widetilde{O}(\mathrm{poly}(d, \log H)\sqrt{K})$，消除了对 $H$ 的显式多项式依赖。

ABSTRACT

We show how to construct variance-aware confidence sets for linear bandits and linear mixture Markov Decision Process (MDP). Our method yields the following new regret bounds: * For linear bandits, we obtain an $\widetilde{O}(\mathrm{poly}(d)\sqrt{1 + \sum_{i=1}^{K}\sigma_i^2})$ regret bound, where $d$ is the feature dimension, $K$ is the number of rounds, and $\sigma_i^2$ is the (unknown) variance of the reward at the $i$-th round. This is the first regret bound that only scales with the variance and the dimension, with no explicit polynomial dependency on $K$. * For linear mixture MDP, we obtain an $\widetilde{O}(\mathrm{poly}(d, \log H)\sqrt{K})$ regret bound, where $d$ is the number of base models, $K$ is the number of episodes, and $H$ is the planning horizon. This is the first regret bound that only scales logarithmically with $H$ in the reinforcement learning with linear function approximation setting, thus exponentially improving existing results. Our methods utilize three novel ideas that may be of independent interest: 1) applications of the peeling techniques to the norm of input and the magnitude of variance, 2) a recursion-based approach to estimate the variance, and 3) a convex potential lemma that somewhat generalizes the seminal elliptical potential lemma.

研究动机与目标

• 为线性Bandits中的奖励方差设计自适应的置信集，以改进 regret 上界，使其不再依赖于回合数。
• 在线性混合MDP的 regret 上界中消除对规划时域 $H$ 的显式多项式依赖，实现对数尺度的依赖。
• 引入新的分析工具——范数与方差的剥除、递归方差估计和广义凸潜能引理，用于函数逼近强化学习。
• 提供首个仅依赖于特征维度 $d$、总方差 $\sum \sigma_i^2$ 而不显式依赖于 $K$ 的线性Bandits regret 上界。
• 通过在线性混合MDP设置中实现时域无关的 regret 上界，为线性函数逼近强化学习树立新基准。

提出的方法

• 对特征向量的范数和奖励方差的大小同时应用剥除技术，以实现更紧的集中不等式。
• 提出一种基于递归的方差在线估计方法，对构建方差感知置信集至关重要。
• 引入一个广义的凸潜能引理，推广了经典的椭球潜能引理，支持方差依赖的分析。
• 构建能够自适应观测到的奖励方差的置信集，从而在高方差环境下减少过度保守性。
• 将方差感知置信集与探索-利用策略结合，推导出改进的 regret 上界。
• 采用一种新颖的 regret 分解方法，将方差和维度性的贡献独立出来，实现更精确的控制。

实验结果

研究问题

• RQ1 是否可以构建线性Bandits中的置信集，使其自适应于实际奖励方差，而非假设方差有界或已知？
• RQ2 是否可能在线性混合MDP中实现一个对规划时域 $H$ 呈对数尺度而非多项式尺度的 regret 上界？
• RQ3 是否可以将椭球潜能引理推广，以支持函数逼近设置中的方差依赖分析？
• RQ4 如何将递归方差估计集成到在线学习算法中，以改进 regret 保证？
• RQ5 在线性函数逼近设置中，为解耦 regret 对 $K$ 和 $H$ 的依赖，需要哪些新的分析技术？

主要发现

• 对于线性Bandits，论文实现了 $\widetilde{O}(\mathrm{poly}(d)\sqrt{1 + \sum_{i=1}^{K}\sigma_i^2})$ 的 regret 上界，其仅依赖于特征维度 $d$ 和累积方差 $\sum \sigma_i^2$，且不显式依赖于 $K$。
• 这是首个在线性Bandits中避免显式依赖于 $K$ 的多项式项的 regret 上界，其规模为总方差平方根的量级。
• 对于线性混合MDP，论文推导出 $\widetilde{O}(\mathrm{poly}(d, \log H)\sqrt{K})$ 的 regret 上界，其对规划时域 $H$ 呈对数尺度。
• 该时域无关上界相比先前依赖于 $H$ 多项式尺度的结果实现了指数级改进。
• 所提出的凸潜能引理推广了经典椭球潜能引理，并支持高维设置下的方差感知分析。
• 递归方差估计技术实现了无需先验知识的准确在线方差追踪，对自适应置信集至关重要。