[论文解读] On the use of bootstrap with variational inference: Theory, interpretation, and a two-sample test example

Yen‐Chi Chen, Y. Samuel Wang+1 more|arXiv (Cornell University)|Nov 29, 2017

Statistical Methods and Inference参考文献 45被引用 5

一句话总结

本文为使用自助抽样（bootstrap resampling）量化变分推断中不确定性提供了理论基础，尤其针对潜在变量模型中参数估计的不确定性。在固定维和增长维设定下，建立了渐近正态性和自助抽样一致性，证明了其在置信区间覆盖方面优于渐近近似方法，特别是在方差估计量不一致时表现更优。

ABSTRACT

Variational inference is a general approach for approximating complex density functions, such as those arising in latent variable models, popular in machine learning. It has been applied to approximate the maximum likelihood estimator and to carry out Bayesian inference, however, quantification of uncertainty with variational inference remains challenging from both theoretical and practical perspectives. This paper is concerned with developing uncertainty measures for variational inference by using bootstrap procedures. We first develop two general bootstrap approaches for assessing the uncertainty of a variational estimate and the study the underlying bootstrap theory in both fixed- and increasing-dimension settings. We then use the bootstrap approach and our theoretical results in the context of mixed membership modeling with multivariate binary data on functional disability from the National Long Term Care Survey. We carry out a two-sample approach to test for changes in the repeated measures of functional disability for the subset of individuals present in 1989 and 1994 waves.

研究动机与目标

• 为解决变分推断中不确定性量化的问题，其中标准渐近方差估计通常不可行或不一致。
• 开发并证明在一致方差估计量不可用时，使用自助程序构建置信区间的稳健性。
• 在固定维和增长维渐近设定下，建立基于自助抽样的推断理论有效性。
• 通过美国长期长期长期护理调查（NLTCS）中的功能残疾数据，在真实世界的两样本检验场景中说明该方法。
• 为机器学习和统计学中复杂潜在变量模型的不确定性量化提供一个通用框架。

提出的方法

• 提出两种自助方法：对观测数据的非参数自助法和基于变分近似的参数自助法。
• 在正则性条件下，推导出变分估计量的渐近正态性，将经典中心极限定理推广至变分设定。
• 通过证明自助统计量的条件分布收敛至估计量的真实抽样分布，建立自助抽样一致性。
• 使用矩阵伯恩斯坦不等式控制高维设定下经验协方差估计量与真实协方差估计量之间的偏差。
• 将自助法应用于多变量伯努利模型中，检验重复测量下混合成员参数的变化。
• 使用来自NLTCS的功能残疾数据验证了该方法，其中变分推断用于建模具有潜在混合成员结构的重复测量。

实验结果

研究问题

• RQ1 当一致方差估计量不可用时，自助程序能否为变分推断提供有效的不确定性量化？
• RQ2 在固定维和增长维设定下，变分估计量的自助分布在何种理论条件下收敛至其真实抽样分布？
• RQ3 与渐近区间相比，基于自助的置信区间在覆盖精度方面表现如何？
• RQ4 ELBO（证据下界）在变分推断自助一致性理论推导中起什么作用？
• RQ5 该自助方法能否成功应用于复杂、高维模型，如具有多变量伯努利数据的混合成员模型？

主要发现

• 当方差估计量不一致时，自助方法在高阶覆盖精度上优于渐近正态近似。
• 理论分析表明，在正则性条件下，变分估计量的自助分布收敛至真实抽样分布。
• 在增长维设定下，只要维度随样本量以受控速率增长，自助方法仍有效，其边界通过矩阵集中不等式导出。
• 在有限样本中，基于自助的置信区间在NLTCS数据分析中表现出优于渐近区间的经验覆盖性能。
• 该方法对模型误设具有鲁棒性，即使真实渐近方差难以一致估计，也能表现良好。
• 理论结果得到模拟实验和真实数据应用的支持，表明自助法在变分推断中的实际应用价值。