[论文解读] Pathwise coordinate optimization

Jerome H. Friedman, Trevor Hastie+2 more|arXiv (Cornell University)|Aug 10, 2007

Statistical Methods and Inference被引用 8

一句话总结

本文提出了一种路径式坐标优化算法，用于求解高维统计中的凸优化问题，特别是套索（lasso）、融合套索（fused lasso）及相关模型。通过迭代地一次最小化一个参数，并使用软阈值化方法，该方法在性能上与LARS方法相当，可高效扩展至大规模问题，并通过广义下降和融合策略扩展至非可分情形（如融合套索），与标准凸优化求解器相比显著减少了计算时间。

ABSTRACT

We consider ``one-at-a-time'' coordinate-wise descent algorithms for a class of convex optimization problems. An algorithm of this kind has been proposed for the $L_1$-penalized regression (lasso) in the literature, but it seems to have been largely ignored. Indeed, it seems that coordinate-wise algorithms are not often used in convex optimization. We show that this algorithm is very competitive with the well-known LARS (or homotopy) procedure in large lasso problems, and that it can be applied to related methods such as the garotte and elastic net. It turns out that coordinate-wise descent does not work in the ``fused lasso,'' however, so we derive a generalized algorithm that yields the solution in much less time that a standard convex optimizer. Finally, we generalize the procedure to the two-dimensional fused lasso, and demonstrate its performance on some image smoothing problems.

研究动机与目标

• 开发并评估一种用于高维统计建模中凸优化问题的坐标逐次下降算法。
• 证明坐标逐次优化在大规模套索问题中与LARS等成熟方法具有竞争力。
• 将该方法扩展至非可分问题（如融合套索），其中标准坐标下降法失效。
• 将该方法推广至二维融合套索，用于图像平滑应用。
• 提供一种可扩展的路径式算法，能高效计算不同正则化参数下的解。

提出的方法

• 该算法通过循环遍历每个参数，利用部分残差的软阈值化方法进行坐标逐次最小化，计算效率高。
• 对于套索问题，每次更新求解一个单变量软阈值化问题：βj ← S(∑i xij(yi − ∑k≠j xikβk), γ)，其中S为软阈值化算子。
• 对于融合套索，该方法采用广义下降策略，将具有相等值的相邻变量分组，通过分段线性优化更新融合参数。
• 该算法采用路径式策略：从λ2 = 0开始，每个像素作为独立组，逐步增加λ2，并应用下降和融合步骤，将具有相等参数值的组合并。
• 融合通过将相邻组Gl和Gl′合并为具有合并均值和权重的新组Gm来实现，且在新组结构下重新优化准则。
• 该过程重复进行，直到一次完整遍历中无进一步参数更新，从而确保收敛至当前λ2值的解。

实验结果

研究问题

• RQ1 能否使坐标逐次下降在大规模套索问题中与LARS方法具有竞争力？
• RQ2 如何将坐标下降法适配至非可分问题（如融合套索），其中标准坐标下降法失效？
• RQ3 路径式坐标优化框架能否推广至二维融合套索，以实现图像平滑？
• RQ4 与标准凸优化求解器相比，该方法在高维设置下具有何种计算优势？
• RQ5 广义算法中的融合策略如何提升收敛性并减少计算时间？

主要发现

• 路径式坐标优化算法在大规模套索问题中的性能与LARS方法相当，且在许多情况下计算速度显著更快。
• 该方法可高效应用于相关模型（如garotte和弹性网络），显著扩展了其在标准套索之外的应用范围。
• 对于标准坐标下降法因不可分性而失效的融合套索问题，采用分组融合与分段线性优化的广义算法，其求解速度远超标准凸优化求解器。
• 在二维融合套索问题中，该算法通过将具有相等值的相邻像素分组，成功实现图像平滑，生成视觉上连贯且准确的重建结果。
• 路径式策略结合下降、融合与平滑步骤，收敛可靠且高效，当一次完整遍历中无参数变化时即确认收敛。
• 该算法的可扩展性与高效性使其特别适用于基因组学和图像处理等高维问题。