[论文解读] Regression modeling on stratified data with the lasso

Édouard Ollier, Vivian Viallon|arXiv (Cornell University)|Aug 22, 2015

Statistical Methods and Inference参考文献 33被引用 9

一句话总结

该论文提出了一种基于套索的回归建模方法，用于分层数据，避免了对参照分层的任意选择，从而改善了分类协变量与预测变量之间的交互作用检测。该方法在稀疏一致性方面表现接近最优参照选择，且在模拟数据和基因表达数据中优于标准方法，计算成本极低。

ABSTRACT

We consider the estimation of regression models on strata defined using a categorical covariate, in order to identify interactions between this categorical covariate and the other predictors. A basic approach requires the choice of a reference stratum. We show that the performance of a penalized version of this approach depends on this arbitrary choice. We propose a refined approach that bypasses this arbitrary choice, at almost no additional computational cost. Regarding model selection consistency, our proposal mimics the strategy based on an optimal and covariate-specific choice for the reference stratum. Results from an empirical study confirm that our proposal generally outperforms the basic approach in the identification and description of the interactions. An illustration on gene expression data is provided.

研究动机与目标

• 解决标准套索方法在分层回归中对参照分层选择高度依赖的局限性。
• 开发一种方法，实现与基于协变量的最优参照分层选择相当的稀疏一致性，而无需事先知道最佳参照分层。
• 改进高维设置下分类效应修饰变量与连续预测变量之间交互作用的识别与描述。
• 提供一种计算高效的替代方案，以替代现有的惩罚方法（如融合套索或团块策略），尤其在分层顺序未知时表现更优。
• 在模拟数据和真实世界数据（包括基因表达数据）中展示优越性能，其中不同分层间的交互模式存在差异。

提出的方法

• 提出一个过度参数化的回归模型，使所有分层在处理上保持对称，避免依赖单一参照分层。
• 对分层特定系数与全局均值之间的差异施加组套索惩罚，实现对相关交互作用的同时选择。
• 使用改进的套索目标函数，鼓励基线效应和分层特定偏离量的稀疏性，确保模型简洁性。
• 采用两步估计策略：首先估计全局均值和偏离系数，然后应用套索惩罚以识别非零分量。
• 引入一种新型惩罚结构，即使真实最优参照分层未知，也能模拟最优参照选择的行为。
• 利用现有的套索理论和计算工具，实现高效计算，相较于标准套索仅增加极低的额外成本。

实验结果

研究问题

• RQ1 基于套索的交互作用建模在分层数据上的性能是否严重依赖于参照分层的选择？
• RQ2 能否设计一种惩罚回归方法，实现在无需预先知晓参照分层的情况下，达到与最优参照选择相当的稀疏一致性？
• RQ3 与固定参照分层的标准套索相比，所提出方法在交互作用检测准确性和预测误差方面表现如何？
• RQ4 当真实参照分层未知时，该方法在何种条件下仍能保持稀疏一致性？
• RQ5 该方法能否推广至其他回归模型（如Cox模型或条件逻辑回归模型），并保持类似的理论保证？

主要发现

• 所提出方法在未选择任何参照分层的情况下，实现了与基于协变量的最优参照分层选择相当的稀疏一致性。
• 实证结果表明，该方法在交互作用检测和预测准确性方面显著优于采用固定参照分层的标准套索方法。
• 在包含8个时间点（分层）的基因表达研究中，该方法成功识别出EGFR基因与44个转录因子之间随时间变化的关联。
• 双5折交叉验证显示，该方法在非顺序感知方法中预测误差最低，较团块策略改进1.8%。
• 当分层具有自然顺序时，若能利用该结构（如通过链图），性能可进一步提升，但该方法在缺乏此类信息时仍保持良好竞争力。
• 由于对参照分层选择具有鲁棒性且计算高效，该方法在分层数量和预测变量数量增加时仍能保持强劲性能。