[论文解读] Trajectory of Alternating Direction Method of Multipliers and Adaptive Acceleration

Clarice Poon, Jingwei Liang|arXiv (Cornell University)|Jun 24, 2019

Advanced Signal Processing Techniques被引用 14

一句话总结

本文分析了ADMM迭代点的轨迹，发现其收敛路径取决于目标函数的光滑性与惩罚参数γ，表现为螺旋形或直线形。基于轨迹分析，提出了一种自适应加速方案，通过动态调整动量，优于标准惯性ADMM，在图像处理、统计学和机器学习问题中展现出更优的收敛性能。

ABSTRACT

The alternating direction method of multipliers (ADMM) is one of the most widely used first-order optimisation methods in the literature owing to its simplicity, flexibility and efficiency. Over the years, numerous efforts are made to improve the performance of the method, such as the inertial technique. By studying the geometric properties of ADMM, we discuss the limitations of current inertial accelerated ADMM and then present and analyze an adaptive acceleration scheme for the method. Numerical experiments on problems arising from image processing, statistics and machine learning demonstrate the advantages of the proposed acceleration approach.

研究动机与目标

• 理解ADMM迭代点的几何轨迹，特别是Douglas-Rachford分裂框架下z-序列的行为。
• 识别现有惯性加速技术在ADMM中应用时的局限性，尤其在非光滑或光滑目标函数下的表现。
• 提出一种基于ADMM迭代点观测轨迹的自适应动量调整方案。
• 提升ADMM在图像处理、统计学和机器学习等实际应用中的收敛速度与鲁棒性。

提出的方法

• 利用Douglas-Rachford分裂等价性分析ADMM中z-序列的固定点迭代，揭示其轨迹根据函数光滑性与γ值呈现螺旋形或直线形。
• 通过迭代矩阵的特征值分析，刻画z-序列的渐近行为，表明其收敛至螺旋形或直线形取决于谱特性。
• 提出一种自适应动量方案，根据观测到的轨迹类型（螺旋形或直线形）调整外推步长，采用改进的MPE（Muller多项式外推）方法。
• 通过切比雪夫多项式最小化与矩阵范数分析，推导出非渐近收敛边界，确保鲁棒性与加速性能。
• 将自适应方案集成至标准ADMM更新步骤中，保持收敛性保证的同时提升实际性能。
• 基于历史迭代点的局部曲率估计，设计动态切换机制，在不同动量类型间切换，避免过冲或欠冲。

实验结果

研究问题

• RQ1 ADMM迭代点遵循何种几何轨迹？其行为如何依赖于目标函数的光滑性与惩罚参数γ？
• RQ2 为何现有ADMM惯性加速技术在不同问题类别中无法一致地提升收敛性能？
• RQ3 能否在运行时检测轨迹类型（螺旋形或直线形）以指导自适应动量选择？
• RQ4 如何设计一种自适应加速方案，使其能根据观测到的轨迹行为动态调整动量？
• RQ5 针对所提出的自适应ADMM变体，可建立何种理论收敛边界？

主要发现

• 当R和J均为非光滑且部分光滑时，ADMM的z-序列沿螺旋形轨迹收敛，若二者在局部为多面体，则可实现精确刻画。
• 当R或J至少有一个为光滑函数时，z-序列的轨迹可为直线或螺旋形，具体取决于γ的选择。
• 在图像去噪、Lasso回归与矩阵补全问题的数值实验中，所提出的自适应加速方案优于标准惯性ADMM。
• 该自适应方法通过根据观测轨迹类型动态选择动量参数，实现更快收敛，避免了固定动量方案中常见的次优选择。
• 理论分析表明，该自适应方案保持收敛性，其非渐近边界涉及迭代矩阵谱上的切比雪夫多项式最小化。
• 实验结果表明，与基线ADMM及现有惯性变体相比，该方法在迭代次数上显著提速，且残差误差更低。