[论文解读] Thresholded Adaptive Validation: Tuning the Graphical Lasso for Graph Recovery

Mike Laszkiewicz, Asja Fischer+1 more|arXiv (Cornell University)|May 1, 2020

Statistical Methods and Inference参考文献 32被引用 4

一句话总结

本文提出阈值自适应校准（thAV），一种计算高效的图形lasso校准方法，通过基于理论的阈值调节正则化参数，提升图恢复性能。通过利用样本量有限时的 $\infty$-范数误差上界，并在正则化路径上进行单次线性搜索，thAV在模拟和真实数据中均实现了优于现有方法（如缩放lasso、TIGER和StARS）的F1分数，显著提升了稀疏图形模型的恢复效果。

ABSTRACT

Many Machine Learning algorithms are formulated as regularized optimization problems, but their performance hinges on a regularization parameter that needs to be calibrated to each application at hand. In this paper, we propose a general calibration scheme for regularized optimization problems and apply it to the graphical lasso, which is a method for Gaussian graphical modeling. The scheme is equipped with theoretical guarantees and motivates a thresholding pipeline that can improve graph recovery. Moreover, requiring at most one line search over the regularization path, the calibration scheme is computationally more efficient than competing schemes that are based on resampling. Finally, we show in simulations that our approach can improve on the graph recovery of other approaches considerably.

研究动机与目标

• 解决高维图形模型中正则化参数选择的挑战，该问题对图恢复性能具有决定性影响。
• 为正则化优化问题（特别是图形lasso）开发一种计算高效的校准方案。
• 为所得估计器提供近似误差的理论保证，确保有限样本下的有效性。
• 通过基于理论误差边界的阈值化步骤，提升图恢复的准确性。
• 在模拟和真实世界生物网络上，证明该方法优于现有方法。

提出的方法

• 提出一种通用的校准方案——自适应校准（AV），源自Chichignoud等人（2014）的研究，经适配后应用于正则化优化问题。
• 将AV应用于图形lasso，推导出精度矩阵估计的 $\infty$-范数误差的有限样本上界。
• 利用推导出的误差边界，提出一种阈值规则，用于剪除估计图中的弱连接。
• 通过在正则化路径上进行单次线性搜索来校准方法，确保计算效率。
• 引入一个数据驱动的阈值 $ t = C\hat{r} $，其中 $ \hat{r} $ 是误差边界的估计值，$ C $ 为调优常数。
• 通过将图形lasso解路径与阈值规则结合，实现阈值自适应校准（thAV）估计器，以增强稀疏性和准确性。

实验结果

研究问题

• RQ1 基于理论、计算高效的校准方案是否能在图形lasso中实现优于现有重采样方法的图恢复性能？
• RQ2 基于有限样本误差边界的阈值化处理是否能提升图结构估计的精确率与召回率？
• RQ3 thAV在不同图类型和样本规模下，与最先进的方法（如缩放lasso、TIGER和StARS）相比表现如何？
• RQ4 阈值参数 $ C $ 对恢复图的F1分数和结构准确性有何影响？
• RQ5 thAV能否有效从高维真实世界数据（如微生物互作网络）中恢复出具有生物学意义的网络？

主要发现

• 在模拟实验中，thAV在 $ d=200 $、$ n=300 $ 的随机图上实现了0.95的F1分数，显著优于StARS（F1=0.19）和TIGER（F1=0.25）。
• 在 $ d=200 $、$ n=400 $ 的无标度图上，thAV实现了0.60的F1分数，显著优于缩放lasso（F1=0.43）和SCIO（F1=0.38）。
• 当 $ C=0.8 $ 时，阈值化步骤在多种设置下均取得最高F1分数，包括随机图（$ d=200 $，$ n=400 $）的0.97，以及无标度图（$ d=300 $，$ n=200 $）的0.86。
• 在来自美国肠道项目的真实微生物互作数据上，thAV成功恢复了具有生物学合理性的网络，结果通过节点着色和形状来可视化生物聚类。
• 该方法最多仅需一次在正则化路径上的线性搜索，因此比基于重采样的方法（如交叉验证）更高效。
• 理论分析证实，thAV估计器在精度矩阵估计的 $ \ell_\infty $-范数误差上实现了有限样本上界，确保了统计可靠性。