[论文解读] Tsnnls: A solver for large sparse least squares problems with non-negative variables

Jason Cantarella, Michael Piatek|ArXiv.org|Aug 13, 2004

Matrix Theory and Algorithms参考文献 6被引用 31

一句话总结

tsnnls 是一种免费的、高性能的 C 语言实现，用于求解大规模稀疏非负最小二乘（NNLS）问题的块枢轴算法。它在稀疏矩阵上的性能比基于 MATLAB 的实现（如 Matstoms 的 snnls）高出多达 10 倍，同时保持了与 MATLAB 的 lsqnonneg 相当的精度，其优势源于优化的稀疏 Cholesky 分解和 LSQR 算法用于无约束求解。

ABSTRACT

The solution of large, sparse constrained least-squares problems is a staple in scientific and engineering applications. However, currently available codes for such problems are proprietary or based on MATLAB. We announce a freely available C implementation of the fast block pivoting algorithm of Portugal, Judice, and Vicente. Our version is several times faster than Matstoms' MATLAB implementation of the same algorithm. Further, our code matches the accuracy of MATLAB's built-in lsqnonneg function.

研究动机与目标

• 解决大规模稀疏非负最小二乘（NNLS）问题缺乏免费可用、高性能求解器的问题。
• 开发一种轻量级、可移植的 C 实现，避免使用 MATLAB 或专有库的开销。
• 在保持数值精度的前提下，超越现有基于 MATLAB 的实现（如 snnls）的性能表现。
• 通过将接近机器精度（≤10⁻¹²）的变量置零，处理稀疏问题中的数值退化问题。

提出的方法

• 利用 Karush-Kuhn-Tucker（KKT）条件，将 NNLS 问题表述为线性互补问题（LCP）。
• 应用一种改进的块主元枢轴算法，迭代地在活动集和非活动集之间交换不可行变量。
• 使用 $A^T A$ 的稀疏 Cholesky 分解，高效求解无约束子问题。
• 采用 LSQR 作为 MATLAB 的 backslash 求解器的更快替代方案，用于求解无约束最小二乘子问题。
• 通过缓存机制避免枢轴更新过程中冗余的矩阵乘法运算。
• 通过将解中低于 $10^{-12}$ 的变量设为零，实施数值稳定策略，防止退化情况下的循环现象。

实验结果

研究问题

• RQ1 基于 C 语言的块枢轴算法实现是否能在速度和可扩展性方面超越基于 MATLAB 的实现？
• RQ2 tsnnls 在大规模稀疏和稠密矩阵上的性能与 snnls 和 MATLAB 的 lsqnonneg 相比如何？
• RQ3 在算法中使用 LSQR 而非 MATLAB 的 backslash 求解无约束子问题，其影响是什么？
• RQ4 将 $10^{-12}$ 作为阈值的策略在防止退化问题中的数值循环方面有多有效？
• RQ5 尽管枢轴次数相似，tsnnls 在稀疏矩阵上为何表现出显著更大的加速比？

主要发现

• 在密度为 0.01 的稀疏矩阵上，tsnnls 的速度比 snnls 快多达 10 倍，且比例常数随稀疏度增加而减小。
• 对于稠密矩阵，tsnnls 的性能比 snnls 快数倍，这主要得益于优化的缓存机制，可消除冗余的矩阵乘法运算。
• 在 tsnnls 中，最终的无约束求解步骤仅占总运行时间的 5%（使用 LSQR），而在 snnls 中该部分接近总运行时间的 50%（使用 MATLAB 的 backslash）。
• tsnnls 的精度与 MATLAB 内置的 lsqnonneg 函数相当，但后者速度慢得多，不适用于大规模问题。
• 在 500×490 的稠密矩阵上，lsqnonneg 耗时超过 100 秒，而 tsnnls 和 snnls 均在 1 秒内完成。
• tsnnls 在稀疏问题上的性能优势主要源于 LSQR 的高效使用，而非枢轴次数的差异，因为枢轴次数在不同稀疏度下保持稳定。