[论文解读] New Projection-free Algorithms for Online Convex Optimization with Adaptive Regret Guarantees

Dan Garber, Ben Kretzu|arXiv (Cornell University)|Feb 9, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了一类基于在线梯度下降的新型无投影在线凸优化算法，采用一种新的不可行投影技术，首次实现了自适应遗憾保证——在完整信息设置下达到$O(T^{3/4})$的自适应遗憾，在 bandit 设置下达到$O(T^{3/4})$的自适应期望遗憾，且仅需$O(T)$次线性优化预言机（LOO）调用。该方法避免了正交投影，转而依赖高效的预言机，并可扩展至使用分离预言机的情形，在完整信息设置下实现$O(ackslash sqrt{T})$的自适应遗憾。

ABSTRACT

We present new efficient extit{projection-free} algorithms for online convex optimization (OCO), where by projection-free we refer to algorithms that avoid computing orthogonal projections onto the feasible set, and instead relay on different and potentially much more efficient oracles. While most state-of-the-art projection-free algorithms are based on the extit{follow-the-leader} framework, our algorithms are fundamentally different and are based on the extit{online gradient descent} algorithm with a novel and efficient approach to computing so-called extit{infeasible projections}. As a consequence, we obtain the first projection-free algorithms which naturally yield extit{adaptive regret} guarantees, i.e., regret bounds that hold w.r.t. any sub-interval of the sequence. Concretely, when assuming the availability of a linear optimization oracle (LOO) for the feasible set, on a sequence of length $T$, our algorithms guarantee $O(T^{3/4})$ adaptive regret and $O(T^{3/4})$ adaptive expected regret, for the full-information and bandit settings, respectively, using only $O(T)$ calls to the LOO. These bounds match the current state-of-the-art regret bounds for LOO-based projection-free OCO, which are extit{not adaptive}. We also consider a new natural setting in which the feasible set is accessible through a separation oracle. We present algorithms which, using overall $O(T)$ calls to the separation oracle, guarantee $O(\sqrt{T})$ adaptive regret and $O(T^{3/4})$ adaptive expected regret for the full-information and bandit settings, respectively.

研究动机与目标

• 开发避免在可行集上进行计算昂贵的正交投影的无投影在线凸优化算法。
• 在不依赖Follow-The-Leader框架的前提下，实现自适应遗憾保证——即在序列任意子区间上均成立的遗憾界。
• 设计仅使用$O(T)$次线性优化预言机（LOO）调用的算法，同时保持最先进的遗憾界。
• 将该框架扩展至通过分离预言机访问可行集的情形，在完整信息设置下实现改进的自适应遗憾。
• 修正并改进先前COLT 2022版中的缺陷，修复强凸损失下收敛性证明的问题，尽管遗憾界因此出现对数因子的退化。

提出的方法

• 该算法基于在线梯度下降，采用一种新颖的不可行投影机制，可在无需对可行集进行正交投影的前提下计算近似投影。
• 利用线性优化预言机（LOO）高效访问可行集，从而在无需显式投影的情况下实现下降步长的计算。
• 在 bandit 设置下，该方法采用随机平滑技术来估计梯度，使得LOO可在随机设置中被使用。
• 基于分离预言机的变体采用挤压过程以保持迭代点靠近可行集，并通过递归距离缩减策略确保收敛。
• 算法动态调整步长和光滑参数，以在遗憾性能与预言机调用效率之间取得平衡。
• 理论分析利用不可行投影过程中的距离衰减特性，并对梯度估计误差进行有界，从而推导出自适应遗憾保证。

实验结果

研究问题

• RQ1 无投影在线凸优化算法是否能在不依赖Follow-The-Leader框架的前提下，实现自适应遗憾保证——即在任意子区间上均成立的遗憾界？
• RQ2 是否可能设计此类算法，仅使用$O(T)$次线性优化预言机（LOO）调用，同时匹配目前已知的最佳非自适应遗憾界？
• RQ3 如何将该框架扩展至通过分离预言机而非LOO访问可行集的情形？
• RQ4 与正交投影相比，使用不可行投影时，遗憾性能与预言机调用次数之间的权衡如何？
• RQ5 在 bandit 设置下，该算法是否能仅使用$O(T)$次LOO或分离预言机调用，同时保持自适应遗憾保证？

主要发现

• 所提出的算法在完整信息设置下实现$O(T^{3/4})$的自适应遗憾，在 bandit 设置下实现$O(T^{3/4})$的自适应期望遗憾，且仅需$O(T)$次线性优化预言机（LOO）调用。
• 在分离预言机设置下，该算法在完整信息情形下保证$O(\sqrt{T})$的自适应遗憾，在 bandit 情形下实现$O(T^{3/4})$的自适应期望遗憾，同样仅需$O(T)$次总调用。
• 该方法引入了一种新型不可行投影技术，避免了正交投影，从而可通过LOO或分离预言机实现高效实现。
• 该算法是首个能自然地产生自适应遗憾保证的无投影OCO方法，克服了基于Follow-The-Leader方法的固有局限性。
• 本文修正了原始COLT 2022版中关于强凸损失下收敛性的缺陷，尽管新遗憾界在对数因子上有所退化。
• 理论分析确认，分离预言机的调用次数保持在$O(T)$，且通过距离衰减机制确保尽管迭代点不可行，仍能收敛。