[论文解读] Ridge Regression and Provable Deterministic Ridge Leverage Score Sampling

Shannon McCurdy|arXiv (Cornell University)|Mar 15, 2018

Sparse and Compressive Sensing Techniques参考文献 8被引用 3

一句话总结

本文提出了一种可证明准确的确定性列采样算法，基于岭杠杆率分数，确保列子集选择、投影成本保持和谱范数边界均具有$(1+\epsilon)$近似保证。研究表明，在岭杠杆率分数呈幂律衰减的条件下，该方法在准确性上可与随机算法相媲美，同时通过确定性、可重复的结果提供更强的可解释性。

ABSTRACT

Ridge leverage scores provide a balance between low-rank approximation and regularization, and are ubiquitous in randomized linear algebra and machine learning. Deterministic algorithms are also of interest in the moderately big data regime, because deterministic algorithms provide interpretability to the practitioner by having no failure probability and always returning the same results. We provide provable guarantees for deterministic column sampling using ridge leverage scores. The matrix sketch returned by our algorithm is a column subset of the original matrix, yielding additional interpretability. Like the randomized counterparts, the deterministic algorithm provides (1 + ε) error column subset selection, (1 + ε) error projection-cost preservation, and an additive-multiplicative spectral bound. We also show that under the assumption of power-law decay of ridge leverage scores, this deterministic algorithm is provably as accurate as randomized algorithms. Lastly, ridge regression is frequently used to regularize ill-posed linear least-squares problems. While ridge regression provides shrinkage for the regression coefficients, many of the coefficients remain small but non-zero. Performing ridge regression with the matrix sketch returned by our algorithm and a particular regularization parameter forces coefficients to zero and has a provable (1 + ε) bound on the statistical risk. As such, it is an interesting alternative to elastic net regularization.

研究动机与目标

• 开发一种用于列采样的确定性算法，以在中等规模数据集中确保高精度和可解释性。
• 基于岭杠杆率分数，为列子集选择、投影成本保持和谱近似提供理论保证。
• 证明在岭杠杆率分数呈幂律衰减的条件下，确定性岭杠杆率分数采样在准确性上可与随机方法相媲美。
• 证明在确定性压缩矩阵上进行岭回归时，统计风险可获得$(1+\epsilon)$边界，从而为弹性网络正则化提供可行替代方案。

提出的方法

• 该算法基于确定性岭杠杆率分数选择列，其定义为$\bar{\tau}_i(\mathbf{A}) = \mathbf{a}_i^T(\mathbf{A}\mathbf{A}^T + \lambda_2\mathbf{I})^+\mathbf{a}_i$，其中$\lambda_2 = \frac{1}{k}\|\mathbf{A} - \mathbf{A}_k\|_F^2$。
• 选择列子集$\mathbf{C}$，使得所选岭杠杆率分数之和超过$\bar{t} - \epsilon$，其中$\bar{t}$为岭杠杆率分数矩阵的总迹。
• 通过解析推导和矩阵扰动理论，确保列子集选择、投影成本保持和谱范数边界的$(1+\epsilon)$近似。
• 利用岭杠杆率分数的幂律衰减假设来界定所需列数，证明其在准确性上与随机采样等价。
• 使用秩-$k$的SVD近似$\mathbf{A}_k$来定义正则化参数$\lambda_2$，以确保稳定性和理论保证。
• 理论边界通过矩阵集中不等式和谱分解推导得出，证明方法改编自Papailiopoulos等人（2014）和Cohen等人（2017）的成果。

实验结果

研究问题

• RQ1 确定性岭杠杆率分数采样算法能否在列子集选择、投影成本保持和谱边界上实现$(1+\epsilon)$近似保证？
• RQ2 在何种条件下，确定性岭杠杆率分数采样可达到与随机采样相当的准确性？
• RQ3 在统计风险和系数稀疏性方面，对确定性压缩矩阵进行岭回归与弹性网络相比如何？
• RQ4 当岭杠杆率分数呈现幂律衰减时，所需列数的理论边界是什么？
• RQ5 该确定性算法是否能在中等规模数据集中实现可解释性而不牺牲准确性？

主要发现

• 该确定性算法在列子集选择、投影成本保持和谱范数边界上均实现了$(1+\epsilon)$近似，与随机岭杠杆率分数采样的保证一致。
• 在岭杠杆率分数呈幂律衰减的条件下，该算法仅需$O(k \log k / \epsilon^2)$列，与随机方法的样本复杂度相当。
• 在压缩矩阵上进行岭回归时，该方法可确保统计风险的$(1+\epsilon)$边界，且由于正则化作用，系数被推向零。
• 该方法优于经典杠杆率分数采样，避免了对小奇异值的依赖，从而提供更稳定且可解释的结果。
• 在LGG肿瘤多组学数据上的实证结果表明，即使在$k=3$时，仅需少量列（例如~100列）即可维持低误差。
• 预测差异($\hat{\mathbf{y}}_{\mathbf{A}} - \hat{\mathbf{y}}_{\mathbf{C}}$)的直方图显示偏差极小，证实了压缩矩阵具有强大的预测保真度。