[论文解读] Sparse Approximate Cross-Validation for High-Dimensional GLMs.

William Stephenson, Tamara Broderick|arXiv (Cornell University)|May 31, 2019

Machine Learning and Data Classification被引用 1

一句话总结

本文提出了一种针对高维广义线性模型（GLMs）的稀疏近似留一法交叉验证（LOOCV）方法，通过利用参数向量中的稀疏性来降低计算成本并提高准确性。理论和实证结果表明，通过聚焦于经验恢复的小支持集，该方法在计算时间仅依赖于支持集大小而非完整维度的情况下，实现了接近LOOCV的准确性。

ABSTRACT

Leave-one-out cross-validation (LOOCV) can be particularly accurate among cross-validation (CV) variants for machine learning assessment tasks -- e.g., assessing methods' error or variability. But it is expensive to re-fit a model $N$ times for a dataset of size $N$. Previous work has shown that approximations to LOOCV can be both fast and accurate -- when the unknown parameter is of small, fixed dimension. But these approximations incur a running time roughly cubic in dimension -- and we show that, besides computational issues, their accuracy dramatically deteriorates in high dimensions. Authors have suggested many potential and seemingly intuitive solutions, but these methods have not yet been systematically evaluated or compared. We find that all but one perform so poorly as to be unusable for approximating LOOCV. Crucially, though, we are able to show, both empirically and theoretically, that one approximation can perform well in high dimensions -- in cases where the high-dimensional parameter exhibits sparsity. Under interpretable assumptions, our theory demonstrates that the problem can be reduced to working within an empirically recovered (small) support. This procedure is straightforward to implement, and we prove that its running time and error depend on the (small) support size even when the full parameter dimension is large.

研究动机与目标

• 解决高维广义线性模型（GLMs）中精确留一法交叉验证（LOOCV）带来的高计算成本问题。
• 识别并评估现有高维设置下LOOCV的近似方法，特别是那些依赖于固定维数假设的方法。
• 证明大多数先前的近似方法在高维情况下因准确性下降而失效，尤其是在参数为高维且非稀疏时。
• 提出并验证一种新近似方法，通过利用参数向量中的稀疏性，实现高准确性和高效率。
• 理论上和实证上表明，该方法的性能仅依赖于真实支持集的大小，而非参数空间的完整维度。

提出的方法

• 提出一种新颖的LOOCV近似方法，利用高维参数向量中GLMs的稀疏性。
• 通过经验支持恢复步骤，识别出能捕捉数据主要信号的少量相关特征。
• 将LOOCV近似计算限制在该小而经验识别的支持集中，从而减轻计算负担。
• 理论分析表明，在稀疏性假设下，近似误差由真实支持集的大小控制，而非环境维度。
• 该方法依赖一个关键洞察：通过在恢复的支持集上求解一个简化优化问题，可以准确估计LOOCV误差。
• 该算法计算高效，运行时间仅随支持集大小的立方增长，而非完整维度。

实验结果

研究问题

• RQ1 现有近似LOOCV方法在参数维度较大的高维GLMs中能否保持准确性？
• RQ2 为何许多直观的近似方法在高维设置下会失效，尤其是在参数非低维时？
• RQ3 是否可以利用真实参数向量中的稀疏性来设计一种计算高效且准确的LOOCV近似方法？
• RQ4 在何种理论条件下，LOOCV的稀疏近似能实现接近精确的性能？
• RQ5 若真实参数是稀疏的，该近似方法的运行时间是否可扩展至高维问题？

主要发现

• 大多数现有近似LOOCV方法在高维设置下表现不佳，准确性随维度增加而迅速下降。
• 所提出的稀疏近似方法在真实参数为稀疏时，即使在高维GLMs中也能保持高准确性。
• 该方法的运行时间仅随经验恢复支持集大小的立方增长，而非完整参数维度，从而实现可扩展性。
• 理论分析表明，在稀疏性假设下，近似误差受真实支持集大小的限制，而非环境维度。
• 实证结果证实，该方法在保持LOOCV准确性的同时，相比精确LOOCV在高维设置下显著更快。
• 在高维GLM基准测试中，该方法在准确性和计算效率方面均优于所有其他测试的近似方法。