[论文解读] Provable Benefits of Representation Learning in Linear Bandits.

Jiaqi Yang, Wei Hu+2 more|arXiv (Cornell University)|Oct 13, 2020

Advanced Bandit Algorithms Research被引用 8

一句话总结

本文提出了一种新颖的线性 bandit 算法，该算法在 $T$ 个并行的 bandit 任务之间共享一个低维（$k \ll d$）表示，实现了 $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ 的遗憾。该方法通过利用共享结构，显著优于朴素的独立学习方法（$\widetilde{O}(T\sqrt{dN})$），且上下界匹配，证明了在对数因子范围内达到极小极大最优性。

ABSTRACT

We study how representation learning can improve the efficiency of bandit problems. We study the setting where we play $T$ linear bandits with dimension $d$ concurrently, and these $T$ bandit tasks share a common $k (\ll d)$ dimensional linear representation. For the finite-action setting, we present a new algorithm which achieves $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ regret, where $N$ is the number of rounds we play for each bandit. When $T$ is sufficiently large, our algorithm significantly outperforms the naive algorithm (playing $T$ bandits independently) that achieves $\widetilde{O}(T\sqrt{d N})$ regret. We also provide an $\Omega(T\sqrt{kN} + \sqrt{dkNT})$ regret lower bound, showing that our algorithm is minimax-optimal up to poly-logarithmic factors. Furthermore, we extend our algorithm to the infinite-action setting and obtain a corresponding regret bound which demonstrates the benefit of representation learning in certain regimes. We also present experiments on synthetic and real-world data to illustrate our theoretical findings and demonstrate the effectiveness of our proposed algorithms.

研究动机与目标

• 研究表示学习如何提升多任务线性 bandit 问题中的样本效率。
• 设计一种算法，利用 $T$ 个线性 bandit 之间的共享 $k$-维表示以减少遗憾。
• 建立理论遗憾边界，以证明表示学习相比独立学习的优势。
• 将框架扩展至无限动作设置，并分析其性能。
• 通过合成数据和真实世界数据的实验验证理论发现。

提出的方法

• 该算法在 $T$ 个线性 bandit 任务之间使用维度为 $k \ll d$ 的共享低维表示，以降低有效维度。
• 采用具有表示感知探索与估计的上下文 bandit 框架，以最小化累积遗憾。
• 该方法基于共享表示构建置信集，以提高估计效率。
• 采用一种新颖的遗憾分解技术，分析共享表示空间中探索与利用之间的权衡。
• 对于无限动作设置，算法通过核方法或函数逼近，将基于表示的方法进行扩展。
• 理论分析结合了集中不等式与表示学习边界，推导出紧致的遗憾保证。

实验结果

研究问题

• RQ1 在具有共享低维结构的多任务线性 bandit 设置中，表示学习是否能降低遗憾？
• RQ2 当 $T$ 个线性 bandit 共享一个维度为 $k$ 的表示（$k \ll d$）时，可达到的最优遗憾是多少？
• RQ3 与朴素的独立学习相比，所提算法在遗憾缩放方面表现如何？
• RQ4 所提遗憾边界是否在对数因子范围内达到极小极大最优？
• RQ5 表示学习的优势能否扩展至无限动作的线性 bandit？

主要发现

• 所提算法实现了 $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ 的遗憾边界，当 $k \ll d$ 时，显著优于朴素独立学习的 $\widetilde{O}(T\sqrt{dN})$ 遗憾。
• 建立了 $\Omega(T\sqrt{kN} + \sqrt{dkNT})$ 的遗憾下界，证明了该算法的遗憾在多对数因子范围内达到极小极大最优。
• 当 $T$ 较大时，改进最为显著，因为共享表示将有效维度从 $d$ 降低至 $k$。
• 该算法可扩展至无限动作设置，在适当条件下仍保持表示学习的优势。
• 在合成数据和真实世界数据上的实验验证了理论发现，并展示了所提方法的实际有效性。
• 结果证实，表示学习能够实现更高效的探索并加快多任务 bandit 学习的收敛速度。