[论文解读] Non-stationary Linear Bandits Revisited.

Peng Zhao, Lijun Zhang|arXiv (Cornell University)|Mar 9, 2021

Advanced Bandit Algorithms Research参考文献 6被引用 7

一句话总结

本文识别出先前对非平稳线性Bandit分析中的一个关键性技术缺陷，该缺陷导致其声称的动态遗憾为$\widetilde{O}(T^{2/3}(1+P_T)^{1/3})$。作者修正了分析方法，并在不修改现有算法的前提下，建立了修正后的遗憾界$\widetilde{O}(T^{3/4}(1+P_T)^{1/4})$，同时证明了原始分析中某些关键量的不可能性结果，并通过bandit-over-bandit机制实现了无需参数的自适应学习。

ABSTRACT

In this note, we revisit non-stationary linear bandits, a variant of stochastic linear bandits with a time-varying underlying regression parameter. Existing studies develop various algorithms and show that they enjoy an $\widetilde{O}(T^{2/3}(1+P_T)^{1/3})$ dynamic regret, where $T$ is the time horizon and $P_T$ is the path-length that measures the fluctuation of the evolving unknown parameter. However, we discover that a serious technical flaw makes the argument ungrounded. We revisit the analysis and present a fix. Without modifying original algorithms, we can prove an $\widetilde{O}(T^{3/4}(1+P_T)^{1/4})$ dynamic regret for these algorithms, slightly worse than the rate as was anticipated. We also show some impossibility results for the key quantity concerned in the regret analysis. Note that the above dynamic regret guarantee requires an oracle knowledge of the path-length $P_T$. Combining the bandit-over-bandit mechanism, we can also achieve the same guarantee in a parameter-free way.

研究动机与目标

• 识别并修正先前工作中关于非平稳线性Bandit遗憾分析中的根本性技术缺陷。
• 在修正后的框架下重新分析现有算法，并推导出更紧致且有效的动态遗憾界。
• 证明原始遗憾分析中所用某些关键量存在的不可能性结果。
• 通过bandit-over-bandit机制，将遗憾保证扩展至无需参数的设置。

提出的方法

• 使用修正后的集中不等式重新表达遗憾分解，以解决原始分析中的缺陷。
• 对遗憾中的估计误差和追踪误差分量进行精细化分析，从而得出$T^{3/4}$的依赖关系。
• 证明某些在先前工作中被假设为有界的次优性度量不存在的不可能性结果。
• 应用bandit-over-bandit机制，消除对路径长度$P_T$的oracle知识需求。
• 在不改变原始算法的前提下，通过修正后的理论分析证明新的遗憾界。

实验结果

研究问题

• RQ1 在修正先前分析中的技术缺陷后，现有非平稳线性Bandit算法的正确动态遗憾界是什么？
• RQ2 在修正后的分析下，原始算法能否实现优于$\widetilde{O}(T^{3/4}(1+P_T)^{1/4})$的遗憾率？
• RQ3 正如不可能性结果所示，遗憾分解中所用某些分析量是否存在根本性限制？
• RQ4 是否可能在不依赖路径长度$P_T$的oracle知识的情况下，实现相同的遗憾保证？

主要发现

• 由于分析中的技术缺陷，先前声称的$\widetilde{O}(T^{2/3}(1+P_T)^{1/3})$动态遗憾是无效的。
• 修正后的分析为不加修改的现有算法建立了$\widetilde{O}(T^{3/4}(1+P_T)^{1/4})$的动态遗憾界。
• 本文证明了先前分析中假设为有界的某些关键量的不可能性结果。
• 通过bandit-over-bandit机制，实现了无需参数的遗憾保证，消除了对$P_T$的oracle知识需求。