[论文解读] Online Alternating Direction Method

Huahua Wang, Arindam Banerjee|arXiv (Cornell University)|Jun 27, 2012

Advanced Bandit Algorithms Research参考文献 23被引用 105

一句话总结

本文提出了一种用于大规模优化的在线交替方向法（ADM）算法，利用一种新颖的批处理ADM证明技术，建立了O(1/T)的收敛性。该文在两种在线设置下（可行解与不可行解）为目标函数和约束违反提供了后悔边界，适用于一般函数和强凸函数。

ABSTRACT

Online optimization has emerged as powerful tool in large scale optimization. In this paper, we introduce efficient online algorithms based on the alternating directions method (ADM). We introduce a new proof technique for ADM in the batch setting, which yields the O(1/T) convergence rate of ADM and forms the basis of regret analysis in the online setting. We consider two scenarios in the online setting, based on whether the solution needs to lie in the feasible set or not. In both settings, we establish regret bounds for both the objective function as well as constraint violation for general and strongly convex functions. Preliminary results are presented to illustrate the performance of the proposed algorithms.

研究动机与目标

• 基于交替方向法（ADM）开发适用于大规模问题的高效在线优化算法。
• 在在线设置下，为目标函数和约束违反建立理论后悔边界。
• 通过一种新的证明技术，将ADM的收敛性分析从批处理设置扩展到在线设置。
• 分析两种情形下的性能：一种是解必须位于可行集中，另一种是解无需位于可行集中。
• 为在线优化中的通用函数和强凸函数提供理论保证。

提出的方法

• 提出一种在线版本的交替方向法（ADM），用于在约束条件下进行序列决策。
• 引入一种用于批处理ADM的新证明技术，建立了O(1/T)的收敛速率，为在线后悔分析奠定基础。
• 通过使用新到达的数据点迭代更新原始变量和对偶变量，将ADM框架应用于在线设置。
• 通过分析在线解与离线最优解之间的累积差异，推导出后悔边界。
• 在在线设置中通过增广拉格朗日形式和对偶上升步骤处理约束。
• 考虑两种设置：一种是在每一步强制保证可行性，另一种是允许不可行的迭代，对每种情况分别进行不同的后悔分析。

实验结果

研究问题

• RQ1 交替方向法能否在具有理论保证的前提下适应在线优化设置？
• RQ2 在批处理设置下ADM的收敛速率是多少，它如何为在线后悔分析提供依据？
• RQ3 在在线ADM中，目标函数和约束违反的后悔边界可以建立为多大？
• RQ4 在可行解与不可行解设置下，后悔边界有何不同？
• RQ5 在在线优化中，理论结果对通用函数和强凸函数分别如何成立？

主要发现

• 本文通过一种新的证明技术，建立了批处理ADM的O(1/T)收敛速率，该结果构成了在线后悔分析的基础。
• 对于一般凸函数，在可行和不可行设置下，在线ADM在目标函数上实现O(√T)的后悔，在约束违反上也实现O(√T)的后悔。
• 对于强凸函数，后悔边界提升至目标函数O(log T)，约束违反O(log T)。
• 所提出的在线ADM算法实现了次线性后悔，表明累积损失随时间增长慢于线性。
• 理论分析证实，在可行和不可行解约束下，在线ADM均保持稳定性和收敛性。
• 初步的实验结果表明，所提出的在线ADM算法在实际中具有有效性且可扩展。