[论文解读] Tight Lower Bounds for Multiplicative Weights Algorithmic Families

Nick Gravin, Yuval Peres+1 more|arXiv (Cornell University)|Jul 11, 2016

Coding theory and cryptography被引用 4

一句话总结

本文通过使用新颖的对抗性原语，为专家预测问题中乘法权重算法族建立了紧致的后悔下界，证明了经典乘法权重算法的后悔值恰好为 $\sqrt{\frac{T\ln k}{2}}$，从而彻底填补了长期存在的上下界差距。此外，研究进一步表明，对于具有时变或随机分布学习率的更广泛算法族，其后悔下界为 $\frac{2}{3}$ 倍，同时精确刻画了在几何时域设定下的后悔值。

ABSTRACT

We study the fundamental problem of prediction with expert advice and develop regret lower bounds for a large family of algorithms for this problem. We develop simple adversarial primitives, that lend themselves to various combinations leading to sharp lower bounds for many algorithmic families. We use these primitives to show that the classic Multiplicative Weights Algorithm (MWA) has a regret of $\sqrt{\frac{T \ln k}{2}}$, there by completely closing the gap between upper and lower bounds. We further show a regret lower bound of $\frac{2}{3}\sqrt{\frac{T\ln k}{2}}$ for a much more general family of algorithms than MWA, where the learning rate can be arbitrarily varied over time, or even picked from arbitrary distributions over time. We also use our primitives to construct adversaries in the geometric horizon setting for MWA to precisely characterize the regret at $\frac{0.391}{\sqrtδ}$ for the case of $2$ experts and a lower bound of $\frac{1}{2}\sqrt{\frac{\ln k}{2δ}}$ for the case of arbitrary number of experts $k$.

研究动机与目标

• 为有限时域专家预测问题中经典乘法权重算法（MWA）的已知后悔上下界之间的差距提供填补。
• 构建一个通用的对抗性原语框架，可通过组合这些原语，为广泛的学习算法族导出精确的后悔下界。
• 将分析从固定学习率扩展至时变、递减以及随机选择的学习率情形。
• 精确刻画在几何时域模型中的后悔值，其中停止过程为无记忆过程，参数为 $\delta$。

提出的方法

• 基于结构化、交替的专家推进模式（例如，'循环'和'直线'阶段）设计对抗性策略，以迫使算法表现次优。
• 利用渐近近似和泰勒展开，估计在假设 $e^{\eta(t)} = 1 + \frac{\alpha(t)}{\sqrt{T}}$ 且 $\alpha(t) = \Theta(1)$ 条件下的后悔表达式。
• 应用变分技术和积分近似方法，对随时间累积的后悔贡献进行有界处理，最终简化为形如 $\int_0^1 \sqrt{1-x} \, dx$ 的积分。
• 构造在对称专家推进与单个专家聚焦之间交替的对抗者，以隔离并放大后悔贡献。
• 通过对随机参数（例如，随机起始阶段）进行概率平均，推导出在各类算法族中均稳健的下界。
• 通过将问题建模为折扣无限时域马尔可夫决策过程，将结果扩展至几何时域，并推导出最优对抗者结构。

实验结果

研究问题

• RQ1 经典乘法权重算法在固定学习率下可实现的精确后悔值是多少？
• RQ2 对于具有时变或随机分布学习率的算法族，其后悔下界如何随参数变化？
• RQ3 对于一般算法族，能否将后悔下界提升至超过 $\frac{2}{3}\sqrt{\frac{T\ln k}{2}}$？
• RQ4 在 $k$ 个专家的几何时域模型中，精确的后悔值是多少，特别是当 $k=2$ 时？
• RQ5 基于结构化专家推进模式的对抗性策略如何影响下界推导？

主要发现

• 经典乘法权重算法的后悔值恰好为 $\sqrt{\frac{T\ln k}{2}}$，完全填补了已知上下界之间的差距。
• 对于从任意时变分布中抽取学习率的更广算法族 $\mathcal{A}_{\text{rand}}$，其后悔至少为 $\frac{2}{3}\sqrt{\frac{T\ln k}{2}}$。
• 当 $k$ 为奇数时，下界为 $\frac{2}{3}\sqrt{\frac{T\ln k}{2}\left(1 - \frac{1}{k^2}\right)}$，反映了对称性破缺带来的微小修正。
• 在 $k=2$ 个专家的几何时域模型中，最优后悔值为 $\frac{0.391}{\sqrt{\delta}}$，当 $\delta \to 0$ 时成立。
• 对于一般 $k$ 的几何时域情形，后悔至少为 $\frac{1}{2}\sqrt{\frac{\ln k}{2\delta}}$。
• 假设 $e^{\eta(t)} = 1 + \frac{\alpha(t)}{\sqrt{T}}$ 且 $\alpha(t) = \Theta(1)$ 在推导下界时具有无损失性。