[论文解读] Operationalizing Stein's Method for Online Linear Optimization: CLT-Based Optimal Tradeoffs

Zhiyu Zhang, Aaditya Ramdas|arXiv (Cornell University)|Feb 6, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

该论文提出一种基于 Stein 方法、计算高效的对抗性在线线性优化算法，实现可加性尖锐的损失界和受 CLT 启发的最优权衡。

ABSTRACT

Adversarial online linear optimization (OLO) is essentially about making performance tradeoffs with respect to the unknown difficulty of the adversary. In the setting of one-dimensional fixed-time OLO on a bounded domain, it has been observed since Cover (1966) that achievable tradeoffs are governed by probabilistic inequalities, and these descriptive results can be converted into algorithms via dynamic programming, which, however, is not computationally efficient. We address this limitation by showing that Stein's method, a classical framework underlying the proofs of probabilistic limit theorems, can be operationalized as computationally efficient OLO algorithms. The associated regret and total loss upper bounds are "additively sharp", meaning that they surpass the conventional big-O optimality and match normal-approximation-based lower bounds by additive lower order terms. Our construction is inspired by the remarkably clean proof of a Wasserstein martingale central limit theorem (CLT) due to Röllin (2018). Several concrete benefits can be obtained from this general technique. First, with the same computational complexity, the proposed algorithm improves upon the total loss upper bounds of online gradient descent (OGD) and multiplicative weight update (MWU). Second, our algorithm can realize a continuum of optimal two-point tradeoffs between the total loss and the maximum regret over comparators, improving upon prior works in parameter-free online learning. Third, by allowing the adversary to randomize on an unbounded support, we achieve sharp in-expectation performance guarantees for OLO with noisy feedback.

研究动机与目标

• 在有界域的一维固定时间在线线性优化中，激励并形式化性能权衡。
• 开发一种计算高效的算法，通过 Stein 方法和 CLT 洞见实现尖锐损失界。
• 提供一个框架，在比较基准的总损失与遗憾之间实现一系列最优两点权衡。
• 通过允许对手具有无界支撑、实现有噪声反馈，扩展保证，达到在期望意义上的尖锐性能。

提出的方法

• 引入 Stein 方程及其对凸 1-Lipschitz 的 h 的解，作为界定损失的工具。
• 定义 Algorithm 1：输出 x_t 作为涉及 f_{s_{t-1},ρ_{t-1},h} 与高斯 Z 的期望，使每轮实现 O(1) 时间。
• 将 x_t 与对后向热方程的抑制离散化相联系，连接到连续时间势方法与 FTRL。
• 给出 Loss_T 的主界和分解为主项 −ψ̄_T^*(−∑g_t) 与一个附加误差项 err_T 的总体界。
• 通过对 ρ_t 与 h 的适当选择，算法在 Regret 界下优于标准基线如 OGD 与 MWU。
• 给出一个下界，在简单的有界对手设定下，误差项为 O(log T) 的加法项是最优近似。

实验结果

研究问题

• RQ1 对代理损失 ψ_T^* 的充要条件是什么，以在对手下实现所需的 Loss_T 界？
• RQ2 Stein 方法是否能够给出一种计算高效的 OLO 算法，具有可加性尖锐的损失界，接近 CLT 型极限？
• RQ3 如何在总损失与对比基准的均匀遗憾之间实现一系列最优两点权衡？
• RQ4 这些保证是否能扩展到具有无界/有噪声反馈的对手，从而在期望意义上保持尖锐性能？

主要发现

• 存在一个每轮 O(1) 时间的算法（Algorithm 1），保证 Loss_T ≤ −ψ_T^*(−∑g_t) + O(log T)。
• 界是可加性尖锐的：O(log T) 的差距是较低阶，当 ψ_T^* 以 Θ(√T) 增长时，几乎达到 CNT 最优。
• 对于任意 α>0，算法实现 Regret_T(u) ≤ γ_Huber(u, α)√T + O(log T)，且 γ_Huber(u, α) 严格小于 OGD 界，且当 α→∞ 时该前缀趋于 √(2/π)。
• 该算法也支配 MWU，具有可比的损失界和改进的遗憾保证。
• 在两点权衡设定中，算法保障 Loss_T ≤ ε√T + O(log T) 和 Regret_unif_T ≤ γ(ε)√T + O(log T，ε ∈ (0, √(π/2)]。
• 在有噪声反馈（对手无界）的情况下，该方法给出对应于非渐近 Wasserstein martingale CLT 的尖锐在-期望保证。