[论文解读] Picasso: A Sparse Learning Library for High Dimensional Data Analysis in R and Python

Jason Ge, Xingguo Li+5 more|arXiv (Cornell University)|Jun 27, 2020

Sparse and Compressive Sensing Techniques被引用 22

一句话总结

Picasso 是一个基于 C++ 的高性能稀疏学习库，使用 R 和 Python 实现，提供统一的框架用于路径追踪坐标优化，并具备强大的理论保证。它支持多种正则化方法（ℓ₁、MCP、SCAD），能够高效求解高维稀疏回归问题，在速度和收敛性方面优于现有的 glmnet 和 ncvreg 库，尤其在非凸正则化模型中表现更优。

ABSTRACT

We describe a new library named picasso, which implements a unified framework of pathwise coordinate optimization for a variety of sparse learning problems (e.g., sparse linear regression, sparse logistic regression, sparse Poisson regression and scaled sparse linear regression) combined with efficient active set selection strategies. Besides, the library allows users to choose different sparsity-inducing regularizers, including the convex $\ell_1$, nonconvex MCP and SCAD regularizers. The library is coded in C++ and has user-friendly R and Python wrappers. Numerical experiments demonstrate that picasso can scale up to large problems efficiently.

研究动机与目标

• 开发一个统一、高效且可扩展的稀疏学习库，用于 R 和 Python 中的高维数据分析。
• 为凸与非凸正则化问题实现具有理论保证的路径追踪坐标优化方法。
• 支持多种诱导稀疏性的正则化方法，包括 ℓ₁、MCP 和 SCAD，以适应多样化的稀疏学习任务。
• 在计算效率和收敛稳定性方面超越现有库（如 glmnet 和 ncvreg），尤其在非凸正则化方法中表现更优。
• 提供模块化、可扩展的 C++ 代码，并配备用户友好的 R 和 Python 接口，以促进广泛采用。

提出的方法

• 采用三级嵌套循环结构：热启动初始化、基于强规则预选的活跃集选择，以及活跃坐标的最小化优化。
• 使用路径追踪优化方法，逐步减小正则化参数，并从前一阶段的解初始化当前阶段。
• 基于坐标梯度阈值（强规则）进行活跃集选择，动态更新非零系数集合。
• 实现高效的“朴素更新”和“协方差更新”规则，以加速对活跃坐标的内层优化。
• 支持受限强凸性，并与 Eigen3 集成以实现高性能的线性代数运算。
• 提供可扩展的 C++ 架构，通过虚函数接口支持自定义目标函数和正则化函数。

实验结果

研究问题

• RQ1 统一的路径追踪坐标优化框架是否能在高维稀疏学习问题中实现更优的计算效率和收敛性？
• RQ2 活跃集选择与强规则的集成在非凸稀疏学习中相比启发式方法，性能提升程度如何？
• RQ3 Picasso 在各种正则化方法和数据条件下，与 glmnet 和 ncvreg 相比，在运行时间和目标值精度方面，性能优势有多大？
• RQ4 该库在病态条件和密集估计器场景下，是否能保持稳定的收敛性和高性能？
• RQ5 模块化设计在支持新目标函数和正则化方法的可扩展性方面，效果如何？

主要发现

• 对于非凸正则化稀疏逻辑回归，Picasso 的收敛速度显著快于 ncvreg，尤其在调参较小时，ncvreg 常常无法在合理时间内收敛。
• 在 ℓ₁、MCP 和 SCAD 正则化下的稀疏线性回归中，Picasso 在执行时间上优于 glmnet 和 ncvreg，在条件良好设置下，ℓ₁ 的加速比达 3 倍，MCP 的加速比达 4 倍。
• 在病态条件下，Picasso 保持了稳定的性能，退化程度极小，而 ncvreg 则表现出显著的性能下降和收敛失败。
• 在缩放稀疏线性回归中，与 flare 和 scalreg 相比，Picasso 在较小问题规模（n=1000, d=10000）下将计算时间减少了 90%以上。
• 在所有基准测试中，Picasso 的目标值与竞争对手几乎完全一致，证实了其在更快运行时间下仍具备高优化精度。
• 数值实验验证了 Picasso 在各种高维场景下的可扩展性和鲁棒性，包括条件良好和病态的数据。