[论文解读] Sure screening for estimating equations in ultra-high dimensions

Sihai Dave Zhao, Yi Li|arXiv (Cornell University)|Oct 31, 2011

Statistical Methods in Clinical Trials参考文献 31被引用 5

一句话总结

本文提出EEScreen，一种基于估计方程的统一、计算高效的超高维数据筛选方法，可在单一框架内实现基于模型和非模型的筛选。该方法建立了有限样本的理论保证，并通过模拟和多发性骨髓瘤研究验证了其在保留重要协变量的同时显著降低计算负担的能力，其中迭代版本iEEScreen表现出色，并与提升方法建立了新联系。

ABSTRACT

As the number of possible predictors generated by high-throughput experiments continues to increase, methods are needed to quickly screen out unimportant covariates. Model-based screening methods have been proposed and theoretically justified, but only for a few specific models. Model-free screening methods have also recently been studied, but can have lower power to detect important covariates. In this paper we propose EEScreen, a screening procedure that can be used with any model that can be fit using estimating equations, and provide unified results on its finite-sample screening performance. EEScreen thus generalizes many recently proposed model-based and model-free screening procedures. We also propose iEEScreen, an iterative version of EEScreen, and show that it is closely related to a recently studied boosting method for estimating equations. We show via simulations for two different estimating equations that EEScreen and iEEScreen are useful and flexible screening procedures, and demonstrate our methods on data from a multiple myeloma study.

研究动机与目标

• 开发一种统一的、计算高效的超高维数据筛选程序，适用于基于估计方程的任意模型。
• 为涵盖参数与非参数设定的广泛模型类建立有限样本理论保证，确保筛选性能。
• 通过估计方程实现灵活建模假设，弥合基于模型与非模型筛选之间的差距。
• 提出一种迭代版本iEEScreen，并建立其与估计方程提升方法的联系。
• 通过模拟和多发性骨髓瘤研究中的真实数据分析，展示该方法的实际应用价值。

提出的方法

• EEScreen在固定预设参数值下评估估计方程，而非求解边际估计，从而大幅降低计算成本。
• 该方法使用基于U-统计量的估计方程，以确保理论有效性及有限样本下的筛选性能保证。
• 根据估计方程得分的绝对值对协变量进行排序，并保留排名靠前的变量。
• 该框架可通过使用分布假设最少的估计方程实现非模型筛选，与Zhu等（2011）的方法高度相似。
• iEEScreen通过利用前一轮步骤的残差迭代更新估计方程得分，在协变量存在相关性时提升筛选效能。
• 建立了iEEScreen与EEBoost（一种估计方程的提升算法）之间的联系，提示二者具有共同的理论基础。

实验结果

研究问题

• RQ1 能否开发一种统一的筛选程序，适用于基于估计方程的多样化模型，并具备有限样本理论保证？
• RQ2 EEScreen在统计功效与假阳性控制方面，相较于非模型与基于模型的筛选方法表现如何？
• RQ3 EEScreen的迭代版本是否能提升筛选准确性，特别是在协变量存在相关性的情况下？
• RQ4 在估计方程背景下，迭代筛选与提升方法之间存在何种理论关系？
• RQ5 在真实世界数据中，使用更灵活的模型进行筛选与使用更简单的模型相比，是否会影响泛化性能？

主要发现

• 即使在$ p_n $随$ n $指数增长的超高维设定下，EEScreen仍以高概率成功保留大多数重要协变量。
• 在模拟中，基于AFT模型估计方程的EEScreen仅需100个协变量即可实现高AUC，优于$t$-年生存模型在验证中的表现。
• 使用AFT模型的EEScreen在验证中的AUC达到70%，显著高于非模型方法，表明其泛化能力更强，对TT2组的过拟合更少。
• EEScreen最终选择的模型包含37个协变量，包括$\beta_2$-微球蛋白和乳酸脱氢酶等关键临床标志物，证明其识别生物相关预测因子的能力。
• 基于$t$-年生存模型的EEScreen在交叉验证中的AUC低于非模型方法，但后者在TT2组上出现过拟合，表明其可能存在不稳定性。
• 首次建立了iEEScreen与EEBoost之间的理论联系，提示迭代筛选可被视为一种提升形式，为理论分析开辟了新途径。