[论文解读] Unconstrained Online Linear Learning in Hilbert Spaces: Minimax Algorithms and Normal Approximations

H. Brendan McMahan, Francesco Orabona|arXiv (Cornell University)|Mar 3, 2014

Advanced Bandit Algorithms Research参考文献 20被引用 36

一句话总结

本文提出了一种用于希尔伯特空间中无约束在线线性学习的新型极小极大框架，利用正态近似推导出最优遗憾界。当 $T$ 和 $U$ 未知时，该方法提出算法的遗憾为 $\mathcal{O}\big{(}U\sqrt{T\log(U\sqrt{T}\log^{2}T+1)}\big{)}$，其与理论下界仅相差 $\sqrt{\log\log T}$ 因子；当 $T$ 已知时，遗憾达到常数因子意义下的最优。

ABSTRACT

We study algorithms for online linear optimization in Hilbert spaces, focusing on the case where the player is unconstrained. We develop a novel characterization of a large class of minimax algorithms, recovering, and even improving, several previous results as immediate corollaries. Moreover, using our tools, we develop an algorithm that provides a regret bound of $\mathcal{O}\Big(U \sqrt{T \log(U \sqrt{T} \log^2 T +1)}\Big)$, where $U$ is the $L_2$ norm of an arbitrary comparator and both $T$ and $U$ are unknown to the player. This bound is optimal up to $\sqrt{\log \log T}$ terms. When $T$ is known, we derive an algorithm with an optimal regret bound (up to constant factors). For both the known and unknown $T$ case, a Normal approximation to the conditional value of the game proves to be the key analysis tool.

研究动机与目标

• 为希尔伯特空间中无约束在线线性优化的极小极大策略建立一个通用框架。
• 推导出在已知与未知时间范围 $T$ 情况下，遗憾界均最优（仅相差对数因子）的边界。
• 引入正态近似技术作为分析条件博弈值的松弛工具，尤其在精确极小极大策略难以计算时。
• 将先前的极小极大算法（包括有界域与无约束设置）统一并扩展为一个单一的极小极大最优策略族。
• 解决无约束设置下最优遗憾对 $U$（比较器的 $L_2$ 范数）依赖关系的开放问题。

提出的方法

• 推导出最优对手始终与先前动作之和正交或始终平行的充分条件，且玩家的最优策略始终与过去动作之和平行。
• 引入正态近似作为博弈条件值的松弛技术，使在精确极小极大计算困难时仍能实现可处理的分析。
• 基于正态分布设计势函数，以构造逐步最优策略，通过高斯扰动的期望推导出闭式更新公式。
• 应用雷米奇复杂度框架与博弈论极小极大分析，以对偶范数与时间范围表示遗憾的上界。
• 采用基于近似势函数梯度的递归更新规则，确保在松弛条件下保持极小极大最优性。
• 利用集中不等式与高斯分布的性质（特别是带噪声的二次型最大值）验证边界。

实验结果

研究问题

• RQ1 能否为希尔伯特空间中无约束在线线性学习的极小极大策略建立一般性表征？
• RQ2 当 $T$ 与 $U$ 均未知时，$U$（比较器的 $L_2$ 范数）的最优遗憾依赖关系为何？
• RQ3 对博弈条件值的正态近似能否产生与已知下界匹配的紧致遗憾界？
• RQ4 如何在保持最优性的同时，统一有界与无约束设置下的极小极大策略？
• RQ5 能否设计一种自适应算法，在未知 $T$ 的前提下实现最优遗憾？

主要发现

• 本文推导出当 $T$ 与 $U$ 未知时，遗憾界为 $\mathcal{O}\big{(}U\sqrt{T\log(U\sqrt{T}\log^{2}T+1)}\big{)}$，其与理论下界仅相差 $\sqrt{\log\log T}$ 因子。
• 当 $T$ 已知时，所提算法的遗憾界为 $\mathcal{O}\big{(}\|u\|\sqrt{2aT\log\big{(}\frac{\sqrt{aT}\|u\|}{\epsilon}+1\big{)}}\big{)}$，与理论下界仅相差常数因子。
• 正态近似技术被证明足够强大，即使在精确极小极大策略难以计算时，也能导出最优遗憾界。
• 该框架恢复并改进了先前结果，包括 Streeter 和 McMahan（2012）的 $\mathcal{O}(U\sqrt{T}\log UT)$ 边界，显著降低了对 $U$ 的依赖。
• 本文证明最优玩家策略始终与过去动作的累积和平行，而对手的最优策略则始终与该和平行或正交。
• 构建了一类极小极大最优算法，可平滑地在有界与无约束设置之间插值，在无约束情形下给出非平凡的遗憾界。