[论文解读] Online convex optimization and no-regret learning: Algorithms, guarantees and applications

E. Veronica Belmega, Panayotis Mertikopoulos+2 more|arXiv (Cornell University)|Apr 12, 2018

Advanced Bandit Algorithms Research参考文献 28被引用 37

一句话总结

本教程介绍了在线凸优化（OCO）和无遗憾学习作为一种在不确定性环境下进行决策的稳健框架，特别适用于信号处理和大数据应用。它介绍了通过与事后最优固定动作比较来实现次线性遗憾的算法，并利用加倍技巧和有界变化预算下的动态遗憾分析等技术，提供了理论保证。

ABSTRACT

Spurred by the enthusiasm surrounding the "Big Data" paradigm, the mathematical and algorithmic tools of online optimization have found widespread use in problems where the trade-off between data exploration and exploitation plays a predominant role. This trade-off is of particular importance to several branches and applications of signal processing, such as data mining, statistical inference, multimedia indexing and wireless communications (to name but a few). With this in mind, the aim of this tutorial paper is to provide a gentle introduction to online optimization and learning algorithms that are asymptotically optimal in hindsight - i.e., they approach the performance of a virtual algorithm with unlimited computational power and full knowledge of the future, a property known as no-regret. Particular attention is devoted to identifying the algorithms' theoretical performance guarantees and to establish links with classic optimization paradigms (both static and stochastic). To allow a better understanding of this toolbox, we provide several examples throughout the tutorial ranging from metric learning to wireless resource allocation problems.

研究动机与目标

• 为信号处理和机器学习领域的研究人员提供一种温和但严谨的在线凸优化和无遗憾学习入门介绍。
• 在对未来发展信息的假设最少的前提下，建立在线算法的理论性能保证，特别是次线性遗憾界。
• 将在线优化与静态优化和随机优化等经典范式相衔接，并突出其在非平稳、对抗性环境中的优势。
• 展示在无线资源分配、度量学习和多媒体索引等实际应用中的实例，其中实时适应至关重要。
• 阐明静态遗憾与动态遗憾之间的区别，并分析实现次线性动态遗憾的条件。

提出的方法

• 使用Hannan的遗憾定义，将在线算法的性能与具有未来损失函数完全知识的假设最优固定策略进行比较。
• 采用加倍技巧，将固定时域的无遗憾算法转换为具有有界遗憾的任意时间算法，实现O(√T)的遗憾，最多与一个通用常数因子成比例。
• 分析具有幂律缩放（例如，O(W^α)，其中α ∈ (0,1)）的算法的遗憾界，表明加倍技巧可保持次线性遗憾，并带有依赖于α的通用乘法因子。
• 引入动态遗憾作为性能度量，将其定义为在线决策与每个时间步最优动作的比较，即瞬时损失之和减去每个时间步的最佳动作。
• 应用变化预算（VB_T）来表征损失函数的非平稳性，表明当VB_T = o(T)时，可实现次线性动态遗憾。
• 提出一种基于重启的算法，利用具有次线性静态遗憾的算法，在有界变化预算下实现次线性动态遗憾。

实验结果

研究问题

• RQ1 在线算法如何在面对任意、非随机且可能具有对抗性的损失函数时实现次线性遗憾？
• RQ2 当无法获得未来损失函数的完整知识时，可以为在线学习算法推导出哪些理论保证？
• RQ3 在何种条件下可实现次线性动态遗憾，以及如何设计此类算法？
• RQ4 加倍技巧如何实现将固定时域无遗憾算法转换为具有可证明性能边界的任意时间算法？
• RQ5 变化预算是如何决定在非平稳环境中动态遗憾最小化的可行性？

主要发现

• 加倍技巧可实现任意时间在线算法，其遗憾最多比固定时域遗憾界大2/(√2−1) ≈ 3.41倍，且与窗口大小无关。
• 对于遗憾缩放为O(W^α)（其中α ∈ (0,1)）的算法，加倍技巧可得到O(T^α)的任意时间遗憾界，最多带有仅依赖于α的通用常数因子。
• 动态遗憾R*T始终不小于静态遗憾RT，表明当最优动作随时间变化时存在根本性的性能差距。
• 对于具有Ω(T)变化预算的知情对手，无法实现次线性动态遗憾，因为对手可迫使R*T = Ω(T)。
• 当变化预算VB_T = ∑‖ℓ_t − ℓ_{t+1}‖在T上为次线性时，可通过基于重启的算法实现次线性动态遗憾，该算法利用了静态遗憾的保证。
• 该框架适用于实际的信号处理问题，如无线资源分配和度量学习，其中数据是非平稳的且反馈有限。