[论文解读] SIHR: An R Package for Statistical Inference in High-dimensional Linear and Logistic Regression Models

Prabrisha Rakshit, Tommaso Cai+1 more|arXiv (Cornell University)|Sep 7, 2021

Statistical Methods and Inference参考文献 22被引用 4

一句话总结

本文介绍了SIHR，一个用于高维线性与逻辑回归模型统计推断的R包。该包采用专为高维设定设计的新方法，支持对线性与二次函数进行点估计、置信区间构建及假设检验，并在真实数据上展示了其性能。

ABSTRACT

We introduce and illustrate through numerical examples the R package exttt{SIHR} which handles the statistical inference for (1) linear and quadratic functionals in the high-dimensional linear regression and (2) linear functional in the high-dimensional logistic regression. The focus of the proposed algorithms is on the point estimation, confidence interval construction and hypothesis testing. The inference methods are extended to multiple regression models. We include real data applications to demonstrate the package's performance and practicality.

研究动机与目标

• 解决高维回归模型中传统方法因高维性而失效的统计推断挑战。
• 为高维线性回归中的线性与二次函数构建统一的推断框架。
• 将推断能力扩展至高维逻辑回归模型，以处理二值结果。
• 通过点估计、置信区间与假设检验，实现对多个回归模型的稳健推断。
• 通过真实数据应用展示其实用性，以验证性能与可用性。

提出的方法

• 提出一种基于去偏或去稀疏化估计器的新推断框架，以在高维参数估计中减少偏差。
• 利用去偏估计器的渐近正态性，构建线性与二次函数的置信区间。
• 通过从去偏估计器导出的检验统计量实施假设检验程序，并对高维方差进行适当缩放。
• 通过将去偏方法适配至非高斯、二值结果设定，将该方法扩展至逻辑回归。
• 将所有方法整合为一个统一的R包（SIHR），以实现用户友好应用与可重现性。
• 通过将推断程序推广至多变量函数与联合参数估计，支持多个回归模型。

实验结果

研究问题

• RQ1 当预测变量数量相对于样本量较多时，如何在高维线性回归模型中实现可靠的统计推断？
• RQ2 在高维设定下，线性与二次函数的置信区间与假设检验的性能如何？
• RQ3 去偏方法能否有效扩展至具有高维协变量的逻辑回归模型？
• RQ4 在实际应用中，将所提出的推断方法应用于现实世界数据集时，其表现如何？
• RQ5 SIHR包在多样的高维回归场景中，能在多大程度上支持稳健且可重现的推断？

主要发现

• SIHR包成功实现了在高维线性回归模型中对线性与二次函数的合法统计推断。
• 使用去偏估计器构建的置信区间在有限样本下仍能实现适当的覆盖概率，即使在高维情况下亦然。
• 基于所提框架的假设检验程序在原假设下能保持正确的第一类错误率。
• 对高维逻辑回归的扩展使得即使在非高斯结果下，也能对线性函数实现可靠的推断。
• 真实数据应用展示了SIHR包在多样化高维设定中的实际效用与稳健性。
• 该包支持多个回归模型，能够对多个函数进行联合推断，并控制错误率。