[论文解读] Selective sampling after solving a convex problem

Xiaoying Tian Harris, Snigdha Panigrahi+3 more|arXiv (Cornell University)|Sep 19, 2016

Statistical Methods and Inference参考文献 16被引用 21

一句话总结

本文提出了一种统一框架，用于在求解凸统计学习问题后进行选择性推断，利用测度变换公式和雅可比矩阵的几何分析，实现对条件分布的有效抽样。该方法引入了一种投影Langevin抽样器，适用于对数凹目标分布，针对非多面体惩罚（如组LASSO）给出了显式的雅可比矩阵计算，显著提升了选择性推断方法的统计功效与适用范围。

ABSTRACT

We consider the problem of selective inference after solving a (randomized) convex statistical learning program in the form of a penalized or constrained loss function. Our first main result is a change-of-measure formula that describes many conditional sampling problems of interest in selective inference. Our approach is model-agnostic in the sense that users may provide their own statistical model for inference, we simply provide the modification of each distribution in the model after the selection. Our second main result describes the geometric structure in the Jacobian appearing in the change of measure, drawing connections to curvature measures appearing in Weyl-Steiner volume-of-tubes formulae. This Jacobian is necessary for problems in which the convex penalty is not polyhedral, with the prototypical example being group LASSO or the nuclear norm. We derive explicit formulae for the Jacobian of the group LASSO. To illustrate the generality of our method, we consider many examples throughout, varying both the penalty or constraint in the statistical learning problem as well as the loss function, also considering selective inference after solving multiple statistical learning programs. Penalties considered include LASSO, forward stepwise, stagewise algorithms, marginal screening and generalized LASSO. Loss functions considered include squared-error, logistic, and log-det for covariance matrix estimation. Having described the appropriate distribution we wish to sample from through our first two results, we outline a framework for sampling using a projected Langevin sampler in the (commonly occuring) case that the distribution is log-concave.

研究动机与目标

• 开发一种模型无关的选择性推断方法，用于校正求解凸统计学习问题后产生的选择偏差。
• 推导一个通用的测度变换公式，用于刻画在凸优化中给定选择事件时参数的条件分布。
• 分析测度变换公式中雅可比矩阵的几何结构，尤其针对非多面体惩罚（如组LASSO和核范数）的情形。
• 通过投影Langevin抽样器实现对选择性分布的有效抽样，尤其当目标分布为对数凹分布时。
• 将选择性推断的适用范围扩展至复杂高维模型，包括前向逐步选择、边际筛选以及具有多样化损失函数的广义LASSO。

提出的方法

• 推导一个测度变换公式，通过重新加权原始模型分布以条件化于选择事件，从而实现在凸优化后的确切推断。
• 利用几何与曲率分析方法刻画测度变换公式中变换的雅可比矩阵，将其与Weyl-Steiner管体积理论相联系。
• 为组LASSO情形提供雅可比矩阵的显式表达式，其中涉及活动组结构与惩罚参数的矩阵迹。
• 开发一种投影Langevin抽样器，以尊重选择事件的约束，其更新步骤包含对单纯形象限和球体的投影，以处理符号与组变量。
• 通过对扰动参数的充分统计量进行条件化，确保条件分布保持对数凹性并适合MCMC方法。
• 将随机化方法（如Tian & Taylor, 2015）整合进抽样框架，以提升统计功效，并在选择条件下确保推断的有效性。

实验结果

研究问题

• RQ1 如何在选择性推断中，正式刻画给定凸优化过程结果时模型参数的条件分布？
• RQ2 当惩罚项为非多面体形式（如组LASSO或核范数正则化）时，测度变换公式中的雅可比矩阵起何作用？
• RQ3 当条件分布缺乏闭式表达时，如何高效地从中进行抽样？
• RQ4 在非多面体约束的选择性推断背景下，雅可比矩阵的几何与曲率解释是什么？
• RQ5 当目标分布为对数凹分布时，投影Langevin抽样器能否有效用于选择性分布的抽样？其如何处理来自组惩罚与非凸惩罚的复杂约束？

主要发现

• 本文推导出一个通用的测度变换公式，可实现对任意凸统计学习问题求解后的确切选择性推断，无论模型或惩罚形式如何。
• 对于组LASSO等非多面体惩罚，通过涉及活动组结构与惩罚参数的矩阵导数，显式计算了变换的雅可比矩阵。
• 雅可比矩阵的几何结构与Weyl-Steiner管公式中的曲率测度相联系，为该变换提供了理论基础。
• 投影Langevin抽样器在目标分布为对数凹分布时被证明对条件分布抽样有效，且在弱条件下具有收敛性保证。
• 该方法在多种场景中得到验证，包括LASSO、前向逐步选择、边际筛选以及广义LASSO，且为每种情形提供了明确的抽样算法。
• 该框架支持随机化选择过程，无需依赖数据分割，即可提升选择性推断的统计功效与有效性。