[论文解读] Random weighting to approximate posterior inference in LASSO regression

Tun Lee Ng, Michael A. Newton|arXiv (Cornell University)|Feb 7, 2020

Statistical Methods and Inference参考文献 29被引用 5

一句话总结

该论文提出一种随机加权方法，通过为目标函数各项分配独立的指数分布随机权重，并反复优化以生成近似后验分布的代理样本，从而在LASSO回归中近似贝叶斯后验推断。当 λₙ = o(√n) 时，该方法在渐近意义上等价于贝叶斯后验；当 λₙ = O(nᶜ) 且 1/2 < c < 1 时，实现条件模型选择一致性。

ABSTRACT

We consider a general-purpose approximation approach to Bayesian inference in which repeated optimization of a randomized objective function provides surrogate samples from the joint posterior distribution. In the context of LASSO regression, we repeatedly assign independently-drawn standard-exponential random weights to terms in the objective function, and optimize to obtain the surrogate samples. We establish the asymptotic properties of this method under different regularization parameters $\lambda_n$. In particular, if $\lambda_n = o(\sqrt{n})$, then the random-weighting (weighted bootstrap) samples are equivalent (up to the first order) to the Bayesian posterior samples. If $\lambda_n = \mathcal{O} \left( n^c ight)$ for some $1/2 < c < 1$, then these samples achieve conditional model selection consistency. We also establish the asymptotic properties of the random-weighting method when weights are drawn from other distributions, and also if weights are assigned to the LASSO penalty terms.

研究动机与目标

• 开发一种适用于高维回归模型中贝叶斯推断的通用近似方法。
• 研究在不同正则化参数下随机加权在LASSO回归中的渐近有效性。
• 建立随机加权样本与后验分布匹配或实现模型选择一致性的条件。
• 将该方法扩展至不同的权重分布以及对惩罚项的加权。

提出的方法

• 为LASSO目标函数中的每一项独立分配标准指数分布的随机权重。
• 反复优化加权后的目标函数，以从后验分布中生成代理样本。
• 分析在正则化参数 λₙ 不同缩放制度下的这些样本的渐近行为。
• 推导出随机加权样本渐近等价于真实贝叶斯后验样本的条件。
• 将框架扩展至权重来自其他分布或专门应用于LASSO惩罚项的情形。
• 利用渐近理论，在 λₙ 增长速率变化的条件下建立等价性和一致性性质。

实验结果

研究问题

• RQ1 在何种 λₙ 条件下，随机加权方法能生成渐近等价于贝叶斯后验的样本？
• RQ2 随机加权方法能否在高维LASSO回归中实现条件模型选择一致性？
• RQ3 当权重来自非指数分布时，该方法的渐近性质如何变化？
• RQ4 当权重专门分配给LASSO惩罚项而非残差平方和时，方法的有效性如何变化？
• RQ5 当 λₙ 的增长速率慢于 √n 时，该方法是否仍保持一致性？

主要发现

• 当 λₙ = o(√n) 时，随机加权样本在第一阶意义上渐近等价于贝叶斯后验样本。
• 当 λₙ = O(nᶜ) 且 1/2 < c < 1 时，该方法实现条件模型选择一致性。
• 只要权重为独立同分布的标准指数分布，渐近等价性不依赖于具体权重分布。
• 与仅对残差平方和加权相比，对LASSO惩罚项加权会导致不同的渐近行为，该文对此进行了刻画。
• 在设计矩阵和误差分布满足弱正则性条件时，该方法仍保持有效性。
• 理论结果证实，在适当的正则化缩放下，通过随机加权生成的代理样本继承了关键的频率学和贝叶斯性质。