[论文解读] Optimal Convergence for Stochastic Optimization with Multiple Expectation Constraints

Kinjal Basu, Preetam Nandy|arXiv (Cornell University)|Jun 8, 2019

Stochastic Gradient Optimization Techniques参考文献 20被引用 6

一句话总结

本文提出了一种用于处理多个期望约束的随机优化问题的多重协同随机逼近（MCSA）算法，将先前的工作扩展至处理一般凸目标函数和约束条件。该算法在最优性间隙和约束违反方面均实现了最优的 $Ø(1/ar{N})$ 收敛速率，填补了早期分析中的理论空白，并在模拟实验中展现出对当前最先进方法的实证优越性。

ABSTRACT

In this paper, we focus on the problem of stochastic optimization where the objective function can be written as an expectation function over a closed convex set. We also consider multiple expectation constraints which restrict the domain of the problem. We extend the cooperative stochastic approximation algorithm from Lan and Zhou [2016] to solve the particular problem. We close the gaps in the previous analysis and provide a novel proof technique to show that our algorithm attains the optimal rate of convergence for both optimality gap and constraint violation when the functions are generally convex. We also compare our algorithm empirically to the state-of-the-art and show improved convergence in many situations.

研究动机与目标

• 为大规模在线平台中出现的具有多个期望约束的随机优化问题提供解决方案。
• 将协同随机逼近（CSA）算法扩展至处理多个约束，推广先前仅限于单一约束的工作。
• 填补早期 CSA 方法收敛分析中的理论空白，并提出一种新颖的证明技术。
• 在一般凸性假设下，建立最优的收敛速率，涵盖最优性间隙与约束违反。
• 通过模拟环境中的实证验证，评估该算法相较于当前最先进方法的性能表现。

提出的方法

• 提出多重协同随机逼近（MCSA）算法，利用基于 1-强凸函数的近端投影来处理约束条件。
• 在每次迭代中，根据最违反的约束选择子梯度方向；若所有约束均满足，则基于目标函数梯度进行选择。
• 采用基于 Bregman 散度的投影方法，确保迭代点始终位于由期望约束定义的可行集中。
• 使用容忍度序列 $\eta_{j,t}$ 来管理约束违反，实现可行性的渐进放松。
• 提出一种在线变体 MCSA-online，通过递归平均化随机梯度来更新约束函数的估计值。
• 采用一种新颖的证明技术以建立收敛性，克服了先前 CSA 算法分析中的缺陷。

实验结果

研究问题

• RQ1 协同随机逼近框架能否被扩展以处理多个期望约束，同时保持最优收敛速率？
• RQ2 原始 CSA 算法的收敛性证明中存在哪些理论空白，如何严谨地加以弥补？
• RQ3 对于具有多个约束的一般凸随机规划问题，$\mathcal{O}(1/\sqrt{N})$ 的收敛速率在最优性间隙与约束违反方面是否最优？
• RQ4 在不同噪声水平下，所提出的 MCSA 算法与当前最先进方法（如 Yu 等，2017 年）相比，在收敛速度和鲁棒性方面表现如何？
• RQ5 该算法能否被适配至在线学习场景，同时保持理论保证与实证性能？

主要发现

• 在一般凸性假设下，MCSA 算法在期望最优性间隙与约束违反方面均实现了最优的 $\mathcal{O}(1/\sqrt{N})$ 收敛速率。
• 该算法填补了原始 CSA 算法理论分析中的重要空白，提出了一种新颖且严谨的证明技术。
• 在模拟数据上的实证结果表明，MCSA 及其在线变体在信噪比较低的场景下，显著优于 Yu 等（2017 年）提出的当前最先进方法。
• MCSA-online 变体通过递归利用历史观测值更新随机梯度估计，成功将算法适配至在线学习场景。
• 在高方差与困难可行域设置下，MCSA 展现出优于基线方法的鲁棒性与更快的收敛速度。
• 结果证实，理论收敛速率不仅可实现，而且在具有挑战性的随机环境中具有实际优势。