[论文解读] Zeroth-Order Online Alternating Direction Method of Multipliers: Convergence Analysis and Applications

Sijia Liu, Jie Chen+2 more|arXiv (Cornell University)|Oct 21, 2017

Sparse and Compressive Sensing Techniques被引用 54

一句话总结

本文提出 ZOO-ADMM，一种用于正则化凸优化的无梯度在线 ADMM 算法，推导其收敛速率并显示小批量策略可加速；它还展示在信号处理、统计学和机器学习中的应用。

ABSTRACT

In this paper, we design and analyze a new zeroth-order online algorithm, namely, the zeroth-order online alternating direction method of multipliers (ZOO-ADMM), which enjoys dual advantages of being gradient-free operation and employing the ADMM to accommodate complex structured regularizers. Compared to the first-order gradient-based online algorithm, we show that ZOO-ADMM requires $\\sqrt{m}$ times more iterations, leading to a convergence rate of $O(\\sqrt{m}/\\sqrt{T})$, where $m$ is the number of optimization variables, and $T$ is the number of iterations. To accelerate ZOO-ADMM, we propose two minibatch strategies: gradient sample averaging and observation averaging, resulting in an improved convergence rate of $O(\\sqrt{1+q^{-1}m}/\\sqrt{T})$, where $q$ is the minibatch size. In addition to convergence analysis, we also demonstrate ZOO-ADMM to applications in signal processing, statistics, and machine learning.

研究动机与目标

• 在无梯度设置下解决带正则化的在线凸优化问题。
• 通过将零阶梯度估计与在线 ADMM 更新相结合来开发 ZOO-ADMM。
• 在标准假设下提供收敛性分析，并探索用于加速的小批量策略。
• 展示在信号处理、统计学和机器学习中的实际应用性。

提出的方法

• 使用带随机方向的有限差分构建零阶梯度估计量（hat g_t），基于函数值查询。
• 将 x 的 O-ADMM 更新修改为使用估计梯度和二次/线性化的近端项，使 x_{t+1} 具有投影形式。
• 保持对 y 和对偶变量 lambda 的 ADMM 更新，如同 O-ADMM 以强制线性约束。
• 引入选择 G_t 以抵消 A^T A 项并实现高效的投影步骤（从而得到简单的 x 更新）。
• 提出两种小批量策略（梯度样本平均和观测平均）以及混合组合以降低梯度方差。
• 推导后缀界，通用情形下的收敛速率为 O(sqrt(m)/sqrt(T))，小批量后可改善为 O(sqrt(1 + m/q)/sqrt(T))。

实验结果

研究问题

• RQ1 零阶在线 ADMM 在求解带正则化的凸目标时的收敛速率是多少？
• RQ2 小批量策略如何影响梯度估计的方差和整体收敛速度？
• RQ3 ZOO-ADMM 是否能满足在线约束并达到相较离线最优解的竞争性后悔度？
• RQ4 实际小批量方案是否在现实应用中转化为实际的性能提升？
• RQ5 在黑盒优化问题及具有复杂正则化的学习任务中，ZOO-ADMM 的表现如何？

主要发现

• ZOO-ADMM 对光滑+非光滑复合目标实现了平均后悔界的收敛为 O(sqrt(m)/sqrt(T))。
• 两种小批量策略——梯度样本平均和观测平均——将收敛速率提高到 O(sqrt(1+q^{-1}m)/sqrt(T))。
• 混合小批量策略进一步降低方差，得到介于基线和完全小批量情况之间的后悔界。
• 特殊情形包括随机优化和强凸损失，在参数选择恰当时后悔界会得到改善。
• 应用包括黑盒优化、传感器选择和稀疏 Cox 回归，展示 ZOO-ADMM 的实际效用。