[论文解读] On the Universality of Online Mirror Descent

Nati Srebro, Karthik Sridharan+1 more|arXiv (Cornell University)|Jul 20, 2011

Advanced Bandit Algorithms Research参考文献 26被引用 57

一句话总结

本文证明，在一大类凸在线学习问题中，Online Mirror Descent (OMD) 是普遍近似最优的：若一个问题可在线学习，则使用适当选择的生成距离函数的 OMD 可实现近乎最优的遗憾。关键贡献在于将镜像下降分析推广至非对偶的约束与数据域，证明 OMD 在各种几何结构下均具有近乎最优性。

ABSTRACT

We show that for a general class of convex online learning problems, Mirror Descent can always achieve a (nearly) optimal regret guarantee.

研究动机与目标

• 建立 Online Mirror Descent (OMD) 在一大类凸在线学习问题中普遍适用且近乎最优地最小化遗憾。
• 将镜像下降分析推广至标准对偶几何设定之外，即约束集与数据域并非对偶的情形，推广至任意凸约束与数据域。
• 将在线学习博弈的值与巴拿赫空间中广义的鞅类型联系起来，该类型对约束域与数据域均敏感。
• 证明：存在合适的强凸距离生成函数（保证近乎最优遗憾）的条件，可由有利的鞅类型性质推导得出。
• 证明 OMD 在最坏情况遗憾下仍保持最优性，即使约束集与数据域并非对偶，从而将先前结果推广至更一般设定。

提出的方法

• 将标准镜像下降遗憾分析推广至约束集与数据域彼此非对偶的设定，使用强凸距离生成函数。
• 引入巴拿赫空间中广义的鞅类型概念，该概念依赖于约束集与数据域，扩展了文献 [24] 中的经典概念。
• 利用 [24] 的结果，将在线博弈的值与该广义鞅类型联系起来，建立几何性质与遗憾界之间的联系。
• 基于 [16] 的结果，证明有利的鞅类型性质可推出适用于 OMD 的强凸函数的存在性，从而确保近乎最优遗憾。
• 基于此凸性结构构造距离生成函数，使 OMD 能在任意具有可学习结构的凸在线学习问题中实现近乎最优遗憾。
• 将该框架应用于多个实例，包括矩阵学习与在线主成分分析（PCA），以在实际场景中验证理论结果。

实验结果

研究问题

• RQ1 在约束集与数据域彼此非对偶的凸在线学习问题中，Online Mirror Descent 是否仍能实现近乎最优遗憾？
• RQ2 约束域与数据域在几何与函数性质上需满足何种条件，才能确保 OMD 实现近乎最优遗憾？
• RQ3 如何广义化巴拿赫空间中的鞅类型概念，以捕捉在线学习中约束域与数据域之间的相互作用？
• RQ4 是否存在强凸距离生成函数（OMD 遗憾界所必需）的条件，可由问题底层空间的有利几何性质推导得出？
• RQ5 OMD 的普遍性在多大程度上可超越对偶几何设定？其对一阶在线与随机优化有何启示？

主要发现

• 对于任意满足约束集与数据域均为凸且问题可在线学习的凸在线学习问题，使用适当距离生成函数的 Online Mirror Descent 均可实现近乎最优遗憾。
• 本文将镜像下降遗憾分析推广至非对偶设定，消除了以往要求约束集为数据域对偶的限制。
• 提出一种新的鞅类型概念，其依赖于约束集与数据域，从而可对在线可学习性进行更精细的刻画。
• 证明了强凸距离生成函数的存在性（OMD 遗憾保证的关键）可由底层空间的有利鞅类型性质推导得出。
• 该框架具有广泛适用性，包括矩阵学习、在线主成分分析（PCA）与多任务学习等场景，其几何结构为非欧几里得且非对偶。
• 结果表明，OMD 不仅高效且为一阶方法，更在一大类凸在线学习问题中普遍近乎最优，即使标准对偶几何假设不成立。