[论文解读] Optimal learning with Bernstein Online Aggregation

Olivier Wintenberger|arXiv (Cornell University)|Apr 4, 2014

Advanced Bandit Algorithms Research参考文献 23被引用 4

一句话总结

本文提出伯恩斯坦在线聚合（BOA），一种在线学习算法，在平方损失下实现模型选择聚合问题的最优快速率收敛，偏差为 log(M)/n。通过引入可观测的二阶风险项进行二阶精炼，BOA 克服了经典指数权重的局限性，成为首个其批量版本可达到最优快速率的在线过程，其完全自适应变体在 log log n 因子内接近最优。

ABSTRACT

We introduce a new recursive aggregation procedure called Bernstein Online Aggregation (BOA). The exponential weights include an accuracy term and a second order term that is a proxy of the quadratic variation as in Hazan and Kale (2010). This second term stabilizes the procedure that is optimal in different senses. We first obtain optimal regret bounds in the deterministic context. Then, an adaptive version is the first exponential weights algorithm that exhibits a second order bound with excess losses that appears first in Gaillard et al. (2014). The second order bounds in the deterministic context are extended to a general stochastic context using the cumulative predictive risk. Such conversion provides the main result of the paper, an inequality of a novel type comparing the procedure with any deterministic aggregation procedure for an integrated criteria. Then we obtain an observable estimate of the excess of risk of the BOA procedure. To assert the optimality, we consider finally the iid case for strongly convex and Lipschitz continuous losses and we prove that the optimal rate of aggregation of Tsybakov (2003) is achieved. The batch version of the BOA procedure is then the first adaptive explicit algorithm that satisfies an optimal oracle inequality with high probability.

研究动机与目标

• 开发一种在线聚合过程，实现在模型选择问题下，平方损失偏差中 log(M)/n 的最优快速率收敛。
• 通过引入二阶精炼，克服经典指数权重在实现快速率时的次优性。
• 设计算法的完全自适应版本，自动调节学习率，提升实用性。
• 在有界独立同分布设定下，针对利普希茨连续和强凸损失，为标准与自适应 BOA 过程建立理论保证。

提出的方法

• 提出伯恩斯坦在线聚合（BOA），一种基于累积预测风险估计的二阶精炼项的递归聚合过程，使用指数权重。
• 引入一种新的随机转换技术，利用任何随机环境中的可观测二阶项估计累积预测风险。
• 采用基于杨不等式和“泊松化”不等式的二阶经验界，控制预测风险的偏差。
• 使用类似温度的参数 η 平衡权重更新中的第一和第二阶项，最优选择 η* 可确保快速率。
• 开发 BOA 的多学习率变体，自适应未知的梯度界，实现接近最优性（最多 log log n 因子）。
• 将方法应用于有界梯度和强凸损失的平方损失设定，确保快速收敛速率。

实验结果

研究问题

• RQ1 在线聚合过程能否在平方损失下实现模型选择偏差中 log(M)/n 的最优快速率？
• RQ2 为何经典指数权重无法实现该快速率，二阶精炼如何解决此问题？
• RQ3 能否设计一种自适应在线算法，无需预先知道梯度界即可自动调节学习率？
• RQ4 在线算法的批量版本能否实现最优快速率，若能，其条件是什么？
• RQ5 在存在随机且可能退化的协变量时，可观测的二阶项如何促进实现快速率？

主要发现

• BOA 的批量版本在平方损失下实现了模型选择问题中 log(M)/n 的最优快速率收敛偏差。
• BOA 中的二阶精炼对实现该快速率至关重要，经典指数权重无法达到此效果。
• 自适应 BOA 过程的收敛速率在最优速率的 log log n 因子内，实现完全自动且实用。
• 在线 BOA 过程的预测风险满足高概率界 min_j R(f_j) + O((log M + x)/n)，证实其最优性。
• 该算法具有 O(Mn) 的计算复杂度，比需要迭代优化的批量方法更高效。
• 理论分析表明，在线与批量风险之间的差异与快速率相比可忽略，支持在线过程的最优性。