[论文解读] Posterior Projection for Inference in Constrained Spaces

Astfalck, Lachlan, Deborshee Sen+3 more|arXiv (Cornell University)|Dec 14, 2018

Statistical Methods and Inference参考文献 39被引用 6

一句话总结

本文提出了一种统一的贝叶斯框架，通过使用最小距离映射将无约束后验分布的样本投影到约束参数空间上，实现约束推断。该方法通过投影后验的伯恩斯坦-冯·米塞斯定理建立了理论有效性，并通过实证结果表明，该方法能生成准确的可信区间，且在凸集和施蒂费尔流形约束下，性能优于传统的约束先验，尤其在这些情形下表现更优。

ABSTRACT

Estimation of parameters that obey specific constraints is crucial in statistics and machine learning; for example, when parameters are required to satisfy boundedness, monotonicity, or linear inequalities. Traditional approaches impose these constraints via constraint-specific transformations or by truncating the posterior distribution. Such methods often result in computational challenges, limited flexibility, and a lack of generality. We propose a generalized framework for constrained Bayesian inference by projecting the unconstrained posterior distribution into the space of the parameter constraints, providing a computationally efficient and easily implementable solution for a large class of problems. We rigorously establish the theoretical foundations of the projected posterior distribution, as well as providing asymptotic results for posterior consistency, posterior contraction, and optimal coverage properties. Our methodology is validated through both theoretical arguments and practical applications, including bounded-monotonic regression and emulation of a computer model with directional outputs.

研究动机与目标

• 解决在复杂约束参数空间（如凸集和施蒂费尔流形）上直接定义先验所面临的计算与建模挑战。
• 提供一种理论基础坚实、通用性强的贝叶斯推断方法，适用于约束空间，无需复杂的先验构造。
• 证明投影后验继承了无约束后验的渐近频率学性质，包括正确的可信区间覆盖。
• 为约束先验提供一种实用的替代方案，减少偏差，并在实际应用中提升计算可行性。
• 将后验投影的应用范围从特定情形扩展到更广泛的约束类别，包括测度为零的流形（如施蒂费尔流形）。

提出的方法

• 将后验投影形式化为一种基于最小距离映射的贝叶斯决策理论程序，将无约束后验样本投影到约束集合上。
• 在正则性条件下，为投影后验建立伯恩斯坦-冯·米塞斯定理，证明其渐近正态性与频率学有效性。
• 将该投影框架应用于参数空间的闭凸子集以及施蒂费尔流形（代表正交矩阵或单位球面）。
• 对凸集使用欧氏投影，对施蒂费尔流形使用测地线投影，确保理论一致性与计算可及性。
• 利用标准MCMC软件（如Stan、PyMC3）从无约束后验中抽样，然后将样本投影到约束空间，无需修改抽样算法。
• 在真实数据示例中验证该方法，包括单调回归、列联表和球面参数空间，与吉布斯采样器和约束先验进行性能比较。

实验结果

研究问题

• RQ1 后验投影能否为在约束参数空间上直接指定先验提供一种理论有效且计算可行的替代方案？
• RQ2 投影后验是否保留了无约束后验的渐近频率学性质，例如正确的可信区间覆盖？
• RQ3 与使用约束先验的标准贝叶斯方法相比，后验投影在偏差和估计精度方面表现如何？
• RQ4 该投影框架能否扩展到非凸、低维流形（如施蒂费尔流形）？
• RQ5 先验选择对投影后验性能的影响如何，特别是在先验为扩散或重尾时？

主要发现

• 投影后验实现了渐近正确的可信区间，覆盖概率与名义水平一致（例如，在列联表上，90%可信区间的平均覆盖率为90.3%）。
• 在单调性约束下，后验投影方法在斜率估计中减少了偏差，优于直接在单调函数上设定先验的标准贝叶斯方法。
• 在施蒂费尔流形上，使用无约束先验的投影后验，其可信区间和均方误差与使用vMF约束先验的结果相当，即使在先验为扩散或t-先验时亦然。
• 在列联表示例中，吉布斯采样器对90%可信区间的平均覆盖率为81.3%，而投影后验达到了90.3%，表明其频率学性能更优。
• 理论结果证实，后验收缩率与渐近正态性在投影后得以保持，验证了该方法的统计一致性。
• 该方法计算上切实可行，且与标准MCMC软件兼容，使得其在含约束的复杂层次模型中得以常规应用。