[论文解读] Pliable Methods for Post-Selection Inference Under Convex Constraints

Snigdha Panigrahi, Jonathan Taylor+1 more|arXiv (Cornell University)|May 28, 2016

Statistical Methods and Inference被引用 1

一句话总结

本文提出了一种灵活的贝叶斯框架，用于在凸约束下对线性模型进行模型选择后的推断，采用一种新颖的近似方法来处理模型选择条件下难以计算的精确似然。该方法在渐近意义上是一致的，并在新数据到达时支持实际的自适应推断，如模拟和HIV耐药性分析所示。

ABSTRACT

Inference after model selection has been an active research topic in the past few years, with numerous works offering different approaches to addressing the perils of the reuse of data. In particular, major progress has been made recently on large and useful classes of problems by harnessing general theory of hypothesis testing in exponential families, but these methods have their limitations. Perhaps most immediate is the gap between theory and practice: implementing the exact theoretical prescription in realistic situations---for example, when new data arrives and inference needs to be adjusted accordingly---may be a prohibitive task. In this paper we propose a Bayesian framework for carrying out inference after model selection in the linear model. Our framework is very flexible in the sense that it naturally accommodates different models for the data, instead of requiring a case-by-case treatment. At the core of our methods is a new approximation to the exact likelihood conditional on selection, the latter being generally intractable. We prove that, under appropriate conditions, our approximation is asymptotically consistent with the exact truncated likelihood. The advantages of our methods in practical data analysis are demonstrated in simulations and in application to HIV drug-resistance data.

研究动机与目标

• 解决理论后模型选择推断方法与动态数据环境中实际实现之间的差距。
• 开发一种灵活的框架，可适应各种数据模型而无需逐案调整。
• 为模型选择条件下的精确截断似然提供计算上可行的近似。
• 确保所提出的近似与真实条件似然之间具有渐近一致性。
• 通过模拟和HIV耐药性数据的真实世界应用，展示方法的实际效用。

提出的方法

• 该框架采用贝叶斯方法，在具有凸约束的线性模型中进行模型选择后的推断。
• 它引入了一种对难以计算的精确似然（条件于所选模型）的新近似。
• 该近似在正则条件下被设计为与真实截断似然保持渐近一致性。
• 当新数据到达时，该方法支持顺序更新，实现实时推断。
• 该方法具有通用性，无需针对不同数据模型或约束重新调整。
• 在设计和模型选择的适当正则条件下，建立了理论保证。

实验结果

研究问题

• RQ1 如何在存在凸约束的情况下，使后模型选择推断既具有理论严谨性又具备实际可行性？
• RQ2 能否开发一种通用的贝叶斯框架，避免对不同模型进行逐案处理？
• RQ3 什么样的条件似然近似既计算上可行又具有渐近一致性？
• RQ4 在新观测值随时间不断到达的顺序数据环境中，该方法表现如何？
• RQ5 在HIV耐药性分析等实际应用中，该方法的实证表现如何？

主要发现

• 在正则条件下，所提出的似然近似与精确截断似然具有渐近一致性。
• 该框架支持在新数据持续到达、且模型选择需更新的动态环境中进行实际推断。
• 模拟结果表明，该方法能保持后模型选择置信区间的适当频率覆盖性质。
• 该方法在无需模型特定调参的情况下，对多种多样的数据模型均表现出稳健性能。
• 在HIV耐药性分析应用中，该方法对所选遗传变异提供了可解释且可靠的推断结果。
• 贝叶斯框架为凸约束下的后模型选择推断提供了一种灵活且可扩展的解决方案。