[论文解读] Primal-Dual Active-Set Methods for Isotonic Regression and Trend Filtering

Zheng Han, Frank E. Curtis|arXiv (Cornell University)|Aug 10, 2015

Control Systems and Identification参考文献 23被引用 3

一句话总结

该论文为等高回归（IR）和趋势过滤（TF）提出了原始-对偶活动集（PDAS）算法，提供了一种可热启动、可并行化的替代传统池相邻违反者（PAV）方法的方案。PDAS方法实现了$Ø(n)$的时间复杂度和与PAV相当的收敛性，同时在数值实验中表现出更优的性能，并能高效求解在线和大规模问题。

ABSTRACT

Isotonic regression (IR) is a non-parametric calibration method used in supervised learning. For performing large-scale IR, we propose a primal-dual active-set (PDAS) algorithm which, in contrast to the state-of-the-art Pool Adjacent Violators (PAV) algorithm, can be parallized and is easily warm-started thus well-suited in the online settings. We prove that, like the PAV algorithm, our PDAS algorithm for IR is convergent and has a work complexity of O(n), though our numerical experiments suggest that our PDAS algorithm is often faster than PAV. In addition, we propose PDAS variants (with safeguarding to ensure convergence) for solving related trend filtering (TF) problems, providing the results of experiments to illustrate their effectiveness.

研究动机与目标

• 解决PAV算法在大规模和在线场景下的局限性，包括缺乏热启动能力和并行化支持。
• 为等高回归开发一种原始-对偶活动集（PDAS）方法，保持与PAV相同的理论保证，同时支持热启动和并行执行。
• 将PDAS框架扩展至具有非光滑正则化的趋势过滤问题，通过保护策略确保收敛性。
• 在速度、可靠性和可扩展性方面，证明PDAS及其变体在性能上优于PAV、内点法及其他求解器。

提出的方法

• 将等高回归建模为带单调性约束的凸优化问题：最小化$\frac{1}{2}\sum \omega_i(y_i - \theta_i)^2$，约束条件为$\theta_1 \leq \cdots \leq \theta_n$。
• 开发一种原始-对偶活动集方法，通过迭代识别活动约束（单调性违反）并利用对偶上升和原始校正更新解。
• 在PDAS的变体中引入保护策略，用于趋势过滤问题，以确保在使用激进更新规则时仍能保证收敛。
• 将PDAS框架应用于具有第一阶或第二阶差分$L_1$-范数正则化的趋势过滤问题，使用$g(\theta) = \|D\theta\|_1$或$\|(D\theta)_+\|_1$。
• 利用问题的结构，实现活动集和对偶更新的高效计算，支持热启动和并行化。
• 采用动态块划分策略实现算法的实现与测试，该策略保持单调性，支持对解和对偶变量的高效更新。

实验结果

研究问题

• RQ1 能否为等高回归设计一种原始-对偶活动集方法，使其在理论复杂度上与PAV相当，同时支持热启动和并行化？
• RQ2 在大规模数据集上，所提出的PDAS算法与PAV相比，在收敛速度和可扩展性方面表现如何？
• RQ3 PDAS能否有效扩展至具有非光滑正则化的趋势过滤问题？需要何种保护机制以确保收敛？
• RQ4 所提出的保护策略在提升二阶趋势过滤中PDAS的可靠性与效率方面效果如何，相较于无保护或保守保护的变体？
• RQ5 热启动在多大程度上提升了PDAS在序列或在线等高回归与趋势过滤问题中的性能？

主要发现

• PDAS算法在等高回归中实现了与PAV相同的$\mathcal{O}(n)$工作复杂度和收敛性保证，但在数值实验中显著更快。
• PDAS支持热启动，使在线和序列场景下的性能大幅提升，而PAV无法高效重启。
• 在使用一阶差分的趋势过滤中，所有PDAS变体（PDAS、SF1、SF2）在所有测试问题规模（$n \in \{10^4, 1.7\times10^5, 3.3\times10^5\}$）下均达到100%成功率。
• 在使用二阶差分时，PDAS和SF1在100%的实例中均出现发散，而采用所提保护策略的SF2实现了100%成功率。
• 在运行时间和迭代次数方面，SF2在二阶问题上优于PDAS和SF1，表明所提保护策略使更激进、更有效的更新成为可能。
• 与冷启动相比，SF2的热启动显著减少了迭代次数和运行时间；而内点法对良好初始猜测的收益微乎其微，凸显了PDAS在动态场景中的优势。