[论文解读] Online Alternating Direction Method (longer version)

Huahua Wang, Arindam Banerjee|arXiv (Cornell University)|Jun 17, 2013

Sparse and Compressive Sensing Techniques参考文献 56被引用 45

一句话总结

本文提出在线交替方向乘子法（OADM），一种高效在线优化算法，用于求解具有线性约束的在线凸优化问题，即使目标函数非光滑亦适用。通过新颖的证明技术，建立了目标函数和约束的 O(1/T) 收敛速率，实现了对一般函数和强凸函数的后悔边界，并应用于 Lasso 和总变差问题。

ABSTRACT

Online optimization has emerged as powerful tool in large scale optimization. In this pa- per, we introduce efficient online optimization algorithms based on the alternating direction method (ADM), which can solve online convex optimization under linear constraints where the objective could be non-smooth. We introduce new proof techniques for ADM in the batch setting, which yields a O(1/T) convergence rate for ADM and forms the basis for regret anal- ysis in the online setting. We consider two scenarios in the online setting, based on whether an additional Bregman divergence is needed or not. In both settings, we establish regret bounds for both the objective function as well as constraints violation for general and strongly convex functions. We also consider inexact ADM updates where certain terms are linearized to yield efficient updates and show the stochastic convergence rates. In addition, we briefly discuss that online ADM can be used as projection- free online learning algorithm in some scenarios. Preliminary results are presented to illustrate the performance of the proposed algorithms.

研究动机与目标

• 解决批量 ADMM 中目标函数收敛速率分析的缺失问题，这对在线后悔分析至关重要。
• 为线性约束下的复合目标函数开发一种高效的在线优化算法，尤其适用于目标函数非光滑的情形。
• 在在线设置中，为目标函数和约束违反建立后悔边界，适用于一般凸函数和强凸函数。
• 通过线性化引入不精确的 ADM 更新，以提高计算效率，同时保持收敛性。
• 探索 OADM 作为无投影在线学习方法在具有线性约束场景中的应用。

提出的方法

• 提出在线 ADMM（OADM）作为求解具有线性等式约束的复合优化问题的单循环在线算法。
• 基于变分不等式提出新的证明技术，建立批量 ADMM 设置下目标函数的 O(1/T) 收敛速率。
• 利用批量收敛速率，推导在线设置下目标函数和约束违反的后悔边界。
• 通过线性化 ADMM 子问题中的某些项（尤其是 x 更新）实现不精确更新，以提升计算效率。
• 利用变量分裂将问题分解为关于 x 和 z 的更简单子问题，实现分布式和无投影更新。
• 采用基于 Bregman 散度的更新方式，将 ADMM 推广至二次惩罚之外的场景，使特定情况（如 KL 散度）下的更新更高效。

实验结果

研究问题

• RQ1 能否通过新型证明技术建立批量 ADMM 中目标函数的 O(1/T) 收敛速率？此前文献中尚未证明此结果。
• RQ2 对于一般凸函数和强凸函数，在在线 ADMM 中可导出目标函数和约束违反的哪些后悔边界？
• RQ3 如何通过线性化实现不精确 ADMM 更新，以提升计算效率，同时保持收敛性？
• RQ4 在何种场景下，OADM 可作为无投影在线学习算法使用？
• RQ5 能否通过变量分裂将 OADM 扩展至时空数据的分布式在线优化？

主要发现

• 本文通过基于变分不等式的证明技术，首次在文献中建立了批量 ADMM 中目标函数的 O(1/T) 收敛速率，此前该结果尚未被证明。
• OADM 在一般凸函数的在线设置中，实现了目标函数和约束违反的 O(1/T) 忽略边界。
• 对于强凸函数，OADM 实现了 O(log T / T) 的忽略边界，表明其收敛速度优于一般情况。
• 通过线性化实现的不精确 ADMM 更新在保持收敛性的同时，显著提升了计算效率，尤其在高维设置中表现更优。
• 实验结果表明，在 Lasso 问题中，OADM 实现的稀疏性最接近真实非零元素数（100），优于 FOBOS 和 RDA 的稀疏性恢复效果。
• 在总变差去噪任务中，OADM 生成的模式恢复更平滑、更准确，尤其在振荡敏感场景下，优于 ADM、FOBOS 和 RDA。