[论文解读] The proximal distance algorithm

Kenneth Lange, Kevin L. Keys|arXiv (Cornell University)|Jul 27, 2015

Sparse and Compressive Sensing Techniques参考文献 21被引用 11

一句话总结

本文提出了一种基于MM（主要化-最小化）原理的新型优化方法——近端距离算法，该方法结合精确罚函数法与距离主要化，用于求解非线性和非凸规划问题。该方法利用广为人知的工具，如近端映射和欧氏投影，在高维场景（如$γ_{0}$回归、矩阵补全和逆稀疏协方差估计）中表现出色，实证结果表明其收敛性和解的精度优于现有方法（如glasso）。

ABSTRACT

The MM principle is a device for creating optimization algorithms satisfying the ascent or descent property. The current survey emphasizes the role of the MM principle in nonlinear programming. For smooth functions, one can construct an adaptive interior point method based on scaled Bregmann barriers. This algorithm does not follow the central path. For convex programming subject to nonsmooth constraints, one can combine an exact penalty method with distance majorization to create versatile algorithms that are effective even in discrete optimization. These proximal distance algorithms are highly modular and reduce to set projections and proximal mappings, both very well-understood techniques in optimization. We illustrate the possibilities in linear programming, binary piecewise-linear programming, nonnegative quadratic programming, $\ell_0$ regression, matrix completion, and inverse sparse covariance estimation.

研究动机与目标

• 开发一种模块化、通用的非线性和非凸规划问题优化框架。
• 通过结合精确罚函数法与距离主要化，解决离散和非光滑优化中的挑战。
• 在高维统计问题（如$γ_{0}$回归和稀疏协方差估计）中提升收敛性和解的精度。
• 为传统内点法和路径跟踪法提供一种计算稳定且不依赖中心路径的替代方案。
• 在矩阵补全和二值分段线性规划等多种应用中展示该方法的有效性。

提出的方法

• 该算法利用MM原理构建一个主要化目标函数的代理函数，确保下降性和收敛性。
• 采用距离主要化方法近似到可行集的欧氏距离，从而在约束条件下实现高效优化。
• 通过结合精确罚函数、近端映射和欧氏投影，处理非光滑和非凸约束。
• 采用自适应障碍法，利用缩放Bregman障碍避免在凸规划中追踪中心路径。
• 通过基于主要化构造的代理函数最小化进行迭代更新，调节参数$ρ$和$\epsilon$分别控制罚函数强度和近似精度。
• 核心组件包括近端映射和投影，这些在优化理论中计算可行且广为人知。

实验结果

研究问题

• RQ1 能否通过距离主要化有效将MM原理扩展至非凸和非光滑优化问题？
• RQ2 在稀疏协方差估计中，近端距离算法与glasso等成熟方法相比，解的精度和收敛速度如何？
• RQ3 调节参数$\rho$和$\epsilon$在算法稳定性与性能中起什么作用？
• RQ4 在何种场景下，该算法优于或劣于传统内点法？
• RQ5 该方法能否在极少修改的情况下推广至广泛统计与机器学习问题？

主要发现

• 在逆稀疏协方差估计中，近端距离算法的平均损失低于glasso包，当$p=512$时，其平均损失为-641.89，而glasso的损失更高。
• 当$p=512$时，MM算法平均恢复了566.8个真实非零项（共636.4个），显著优于glasso的304.2个恢复量。
• 随着问题维度增加，该算法性能提升，计算时间比$T_1/T_2$从$p=8$时的43.458下降至$p=512$时的5.679，表明其具有更好的可扩展性。
• 该方法在高维场景中表现出稳健的收敛性和稳定性，尤其在$γ_{0}$回归和矩阵补全中优于标准方法。
• 尽管在多数场景中表现优异，但该算法在未精细调参的线性规划问题中表现出不稳定行为，凸显其在某些问题类别中的局限性。
• Bregman障碍中采用自适应缩放，使算法避免追踪中心路径，同时仍能收敛至可行解。