[论文解读] Super-Linear Convergence of Dual Augmented-Lagrangian Algorithm for Sparsity Regularized Estimation

Ryota Tomioka, Taiji Suzuki+1 more|arXiv (Cornell University)|Nov 20, 2009

Sparse and Compressive Sensing Techniques参考文献 67被引用 59

一句话总结

本文提出了一种针对稀疏性正则化估计的对偶增广拉格朗日（Dual Augmented Lagrangian, DAL）算法的新型收敛性分析，将DAL解释为一种邻近最小化方法。在较温和的条件下，建立了全局、非渐近的超线性收敛性，显著优于经典的增广拉格朗日收敛结果，并在大规模ℓ₁-正则化逻辑回归上验证了该方法的优越效率。

ABSTRACT

We analyze the convergence behaviour of a recently proposed algorithm for regularized estimation called Dual Augmented Lagrangian (DAL). Our analysis is based on a new interpretation of DAL as a proximal minimization algorithm. We theoretically show under some conditions that DAL converges super-linearly in a non-asymptotic and global sense. Due to a special modelling of sparse estimation problems in the context of machine learning, the assumptions we make are milder and more natural than those made in conventional analysis of augmented Lagrangian algorithms. In addition, the new interpretation enables us to generalize DAL to wide varieties of sparse estimation problems. We experimentally confirm our analysis in a large scale $\ell_1$-regularized logistic regression problem and extensively compare the efficiency of DAL algorithm to previously proposed algorithms on both synthetic and benchmark datasets.

研究动机与目标

• 为稀疏性正则化估计的对偶增广拉格朗日（Dual Augmented Lagrangian, DAL）算法提供严格、非渐近的收敛性分析。
• 通过将DAL重新解释为一种邻近最小化算法，以实现更强的理论保证。
• 在比经典增广拉格朗日分析更温和且更自然的假设下，建立超线性收敛性。
• 通过利用邻近框架，将DAL推广到广泛的稀疏估计问题。
• 在大规模ℓ₁-正则化逻辑回归和基准数据集上，通过实验验证理论发现。

提出的方法

• 将DAL重新表述为一种邻近最小化算法，以利用Beck和Teboulle（2009）的最新结果进行收敛性分析。
• 利用优化问题的对偶形式，利用中间解中的稀疏性，实现高效的内部最小化。
• 通过分析误差向量范数的减少量‖wᵗ − W⁎‖²来建立超线性收敛性。
• 引入参数δ = (1−ε)/(σηₜ)以控制收敛速度，并推导误差减少因子的上界。
• 利用对偶目标函数的强凸性和Lipschitz连续性假设，推导每次迭代的进展下界。
• 利用Fenchel共轭和对偶性理论，关联原始和对偶迭代，并推导收敛不等式。

实验结果

研究问题

• RQ1 对偶增广拉格朗日（DAL）算法能否在稀疏估计问题中实现全局且非渐近的超线性收敛？
• RQ2 DAL的邻近最小化解释相较于经典增广拉格朗日理论，如何改进收敛性分析？
• RQ3 损失函数和正则化函数需要满足哪些温和且自然的条件，才能保证DAL的超线性收敛？
• RQ4 DAL框架在多大程度上可以推广到标准ℓ₁-正则化模型之外的各种稀疏估计问题？
• RQ5 DAL的收敛行为在大规模机器学习数据集上与现有算法相比如何？

主要发现

• DAL算法以全局且非渐近的方式实现超线性收敛，意味着达到ϵ-精度所需的迭代次数随1/ϵ的对数增长而不会更快。
• 收敛速率受约束：‖wᵗ⁺¹ − W⁎‖² ≤ 1/(1 + εσηₜ)² × ‖wᵗ − W⁎‖²，表明误差呈超线性衰减。
• 该分析通过利用稀疏估计中特有的问题结构，优于经典结果（Rockafellar, 1976b），允许更温和的假设。
• 邻近最小化解释使得DAL能够推广到各种正则化器和损失函数，包括非强凸的损失函数（如逻辑损失）。
• 在大规模ℓ₁-正则化逻辑回归上的实验结果证实了理论预测的加速效果，表明DAL在效率上优于以往算法。
• 该方法在不依赖设计矩阵假设（如稀疏性、条件数）的情况下实现全局收敛，使其在真实世界机器学习应用中更具鲁棒性。