[论文解读] Parametric Programming Approach for More Powerful and General Lasso Selective Inference

Vo Nguyen Le Duy, Ichiro Takeuchi|arXiv (Cornell University)|Apr 21, 2020

Statistical Methods and Inference参考文献 49被引用 11

一句话总结

本文提出了一种基于参数规划的方法，用于Lasso回归中的选择性推断，避免了对特征符号的过度条件化，即使在成千上万个活跃特征的情况下，也能实现强大且计算可行的推断。通过沿检验统计量方向追踪Lasso解路径，该方法高效识别出相关的选择事件，而无需枚举所有符号组合，显著提升了现有方法的统计功效和实用性。

ABSTRACT

Selective Inference (SI) has been actively studied in the past few years for conducting inference on the features of linear models that are adaptively selected by feature selection methods such as Lasso. The basic idea of SI is to make inference conditional on the selection event. Unfortunately, the main limitation of the original SI approach for Lasso is that the inference is conducted not only conditional on the selected features but also on their signs -- this leads to loss of power because of over-conditioning. Although this limitation can be circumvented by considering the union of such selection events for all possible combinations of signs, this is only feasible when the number of selected features is sufficiently small. To address this computational bottleneck, we propose a parametric programming-based method that can conduct SI without conditioning on signs even when we have thousands of active features. The main idea is to compute the continuum path of Lasso solutions in the direction of a test statistic, and identify the subset of the data space corresponding to the feature selection event by following the solution path. The proposed parametric programming-based method not only avoids the aforementioned computational bottleneck but also improves the performance and practicality of SI for Lasso in various respects. We conduct several experiments to demonstrate the effectiveness and efficiency of our proposed method.

研究动机与目标

• 解决现有Lasso选择性推断方法的主要局限，即对特征符号的过度条件化，导致统计功效降低。
• 克服当所选特征数量较大时，枚举所有 $2^{| ext{active features}|}$ 符号组合的计算不可行性。
• 开发一种可扩展的选择性推断方法，在保持精确第一类错误控制的同时提升统计功效。
• 将框架扩展至通过交叉验证处理数据驱动的正则化参数选择，这是实际应用中的常见挑战。
• 在非正态噪声和未知方差条件下证明该方法的稳健性，确保其在真实场景中的实际适用性。

提出的方法

• 利用参数规划，沿数据空间中检验统计量的方向追踪Lasso解路径。
• 将选择事件表征为解路径与由活跃集定义的多面体的交集，避免枚举所有符号组合。
• 仅识别与参数化直线相交的多面体子集，与 $2^{| ext{active features}|}$ 相比，显著减少了需评估的区域数量。
• 通过追踪路径上活跃集的变化，构建检验统计量的截断区域，从而实现精确抽样分布的计算。
• 通过将选择事件建模为所有可能的CV折和参数值下多面体的并集，实现交叉验证调参的集成。
• 将该方法应用于合成数据和真实世界的高维数据集，包括最多5,787个特征和660个活跃特征的生物信息学数据。

实验结果

研究问题

• RQ1 能否通过去除对特征符号的条件化，在不牺牲计算可行性的前提下，使Lasso的选择性推断更具统计功效？
• RQ2 是否能够高效表征高维Lasso中选择事件的特征，而无需枚举所有 $2^{| ext{active features}|}}$ 种符号组合？
• RQ3 所提出的参数规划方法在活跃特征数量增加（尤其是数千个）时的可扩展性如何？
• RQ4 在非正态噪声和未知误差方差条件下，该方法能否保持有效的第一类错误控制？
• RQ5 该方法能否以计算上可行的方式扩展至通过交叉验证实现数据驱动的正则化参数选择？

主要发现

• 所提出的方法通过避免对特征符号的过度条件化，显著提升了统计功效，优于依赖符号条件化的现有方法。
• 参数化直线相交的多面体数量远小于 $2^{| ext{active features}|}$，即使在特征集较大时也显著降低了计算负担。
• 在真实生物信息学数据集（最多660个活跃特征）上，每个p值的平均计算时间低于0.38秒，展现出极高的效率。
• 在非正态噪声（拉普拉斯分布、偏正态分布、t分布）以及方差从数据中估计的情况下，该方法仍能保持良好的假阳性率控制。
• 尽管存在最坏情况下的指数级复杂度，该方法在实际中仍保持计算可行性，因为最坏情况在真实数据中极少发生。
• 将方法扩展至基于交叉验证的调参选择是有效的，并且能自然地融入参数规划框架。