[论文解读] Online Learning Without Prior Information

Ashok Cutkosky, Kwabena Boahen|arXiv (Cornell University)|Mar 7, 2017

Advanced Bandit Algorithms Research参考文献 5被引用 12

一句话总结

本文提出了一类在线学习算法家族，能够自适应未知的梯度增长和最优参数范数，而无需对梯度或参数直径施加先验边界。通过建立一个新颖的下界前沿，权衡涉及 $\tfrac{1}{2}$ 的遗憾项，这些算法实现了匹配的上界，从而解决了自适应在线优化中长期存在的挑战。

ABSTRACT

The vast majority of optimization and online learning algorithms today require some prior information about the data (often in the form of bounds on gradients or on the optimal parameter value). When this information is not available, these algorithms require laborious manual tuning of various hyperparameters, motivating the search for algorithms that can adapt to the data with no prior information. We describe a frontier of new lower bounds on the performance of such algorithms, reflecting a tradeoff between a term that depends on the optimal parameter value and a term that depends on the gradients' rate of growth. Further, we construct a family of algorithms whose performance matches any desired point on this frontier, which no previous algorithm reaches.

研究动机与目标

• 解决当缺乏关于梯度或最优参数值等先验信息时，在线学习中理论保证缺失的问题。
• 克服现有算法因未知数据特性而需手动调参的局限性。
• 构建一个在线学习的原理性框架，使其能自适应未知的梯度增长和最优参数范数。
• 建立一个关于遗憾的紧致理论下界前沿，权衡 $T$ 的对数项与梯度增长的指数惩罚。
• 构建一个算法家族，其遗憾可匹配该理论前沿上的任意点，实现在无先验假设下的最优性能。

提出的方法

• 通过构造一个对抗性损失序列，推导出新的遗憾下界，迫使在依赖于 $\|u\|L_{\max}\sqrt{T}\log(\|u\|T)$ 的项与指数惩罚 $\exp(\max_t \sqrt{L_t/L_{t-1}})$ 之间进行权衡。
• 引入一个由参数 $k$ 和 $\gamma$ 控制的参数化前沿，以调节权衡：将指数惩罚降低 $k$ 倍，会使 $\sqrt{T}$ 项扩大 $k$ 倍；将对数幂降低 $\gamma$ 倍，会使指数惩罚增加至 $\exp((L_t/L_{t-1})^{1/(2\gamma-1)})$。
• 提出一个自适应在线算法家族，通过根据观测到的梯度动态调整学习率，确保对任意 $k$ 和 $\gamma$，其遗憾均匹配所推导出的下界前沿。
• 采用从在线凸优化到在线线性优化的约化方法，通过次梯度对损失进行线性化，从而可利用线性遗憾界进行分析。
• 采用一种新颖的分析技术，结合累积梯度范数的递归界与自适应步长，利用对偶范数和次梯度性质控制遗憾增长。
• 利用不等式与数学归纳法，对加权自适应学习率项的平方梯度和进行有界，证明遗憾始终处于所推导前沿范围内。

实验结果

研究问题

• RQ1 当缺乏关于梯度或最优参数等先验信息时，在线学习的遗憾的根本极限是什么？
• RQ2 能否设计一个单一算法，在涵盖不同梯度增长和参数范数的未知数据行为谱系中均实现最优遗憾？
• RQ3 在无先验边界的前提下，$T$ 的对数项与梯度增长的指数惩罚之间存在何种权衡？
• RQ4 是否可能构造一个算法家族，使其能匹配理论遗憾前沿上的任意点，而无需手动调参？
• RQ5 如何将在线学习遗憾的分析扩展至无直径边界的无穷维希尔伯特空间？

主要发现

• 本文建立了关于遗憾的新下界前沿，权衡 $\|u\|L_{\max}\sqrt{T}\log(\|u\|T)$ 与 $\exp(\max_t \sqrt{L_t/L_{t-1}})$，优于 Cutkosky 和 Boahen (2016) 的先前指数惩罚。
• 对于任意 $k > 0$，可将指数惩罚降低至 $\exp((L_t/L_{t-1})/k^2)$，代价是将 $\sqrt{T}$ 项扩大 $k$ 倍，从而实现平滑的权衡。
• 对于任意 $\gamma \in (1/2, 1]$，可将 $\sqrt{T}$ 项中的对数幂降低至 $\log^\gamma(\|u\|T)$，代价是将指数惩罚提高至 $\exp((L_t/L_{t-1})^{1/(2\gamma-1)})$，从而实现灵活的自适应。
• 所提出的算法家族实现了与该前沿上任意点完全匹配的遗憾，表明下界是紧致的，因此是最优的。
• 分析证明，即使在完全知晓数据增长模式的前提下，也不存在算法能获得优于所推导前沿的遗憾，从而确认了该权衡的最优性。