[论文解读] Post-Inference Prior Swapping

Willie Neiswanger, Eric P. Xing|arXiv (Cornell University)|Jun 2, 2016

Gaussian Processes and Bayesian Inference被引用 3

一句话总结

本文提出先验交换（prior swapping）方法，通过将使用便捷先验预先计算的虚假后验进行变换，实现任意目标先验下的高效且精确的后验推断。该方法利用与数据无关的更新机制，避免了昂贵的重新运行推断算法，显著优于重要性采样方法，在准确性和速度方面表现更优，尤其在目标先验与虚假先验差异较大或结构复杂时优势明显。

ABSTRACT

While Bayesian methods are praised for their ability to incorporate useful prior knowledge, in practice, convenient priors that allow for computationally cheap or tractable inference are commonly used. In this paper, we investigate the following question: for a given model, is it possible to compute an inference result with any convenient false prior, and afterwards, given any target prior of interest, quickly transform this result into the target posterior? A potential solution is to use importance sampling (IS). However, we demonstrate that IS will fail for many choices of the target prior, depending on its parametric form and similarity to the false prior. Instead, we propose prior swapping, a method that leverages the pre-inferred false posterior to efficiently generate accurate posterior samples under arbitrary target priors. Prior swapping lets us apply less-costly inference algorithms to certain models, and incorporate new or updated prior information "post-inference". We give theoretical guarantees about our method, and demonstrate it empirically on a number of models and priors.

研究动机与目标

• 为解决在不重新运行昂贵推断算法的前提下，高效计算任意目标先验下后验分布的挑战。
• 克服重要性采样方法的局限性，后者在目标先验与虚假先验显著不同时常因方差过高而失效。
• 在标准推断计算成本过高的模型中，实现后推断阶段对更新或新先验信息的整合。
• 提供一种通用方法，通过将精确密度、近似后验或MCMC样本等不同类型的推断结果转换为目标后验，适用于各种推断结果类型。
• 证明先验交换在理论和实证上均有效，适用于包括广义线性模型和具有关系性或稀疏性诱导先验的潜变量模型在内的多种模型。

提出的方法

• 该方法使用在便捷虚假先验 $\pi_f(\theta)$ 下预先推断得到的虚假后验 $p_f(\theta|x^n)$，该先验允许进行可处理或高效的推断。
• 通过一系列与数据无关的迭代更新，将来自 $p_f(\theta|x^n)$ 的样本或密度估计转换为任意期望先验 $\pi(\theta)$ 下的准确后验 $p(\theta|x^n)$ 的样本。
• 对于MCMC样本，先验交换执行一系列基于目标先验与虚假先验密度比值调整提议分布的Metropolis-Hastings步骤。
• 对于参数化或近似后验密度，该方法利用比值 $\pi(\theta)/\pi_f(\theta)$ 对虚假后验进行重新加权或重参数化，使其与目标先验对齐。
• 该方法设计为计算高效，因其避免了数据相关更新，并充分利用了预先计算的推断结果。
• 为各种虚假后验表示形式下的收敛性和准确性提供了理论保证。

实验结果

研究问题

• RQ1 我们能否在不重新运行推断的情况下，将基于便捷先验预先计算的虚假后验转换为任意目标先验下的准确后验？
• RQ2 当目标先验与虚假先验差异显著时，先验交换与重要性采样在方差和准确性方面相比如何？
• RQ3 先验交换能否高效处理复杂、非共轭或结构化先验（如对潜因子的稀疏性诱导或关系性先验）？
• RQ4 在标准推断成本高昂的模型（如主题模型或广义线性模型）中，先验交换能在多大程度上降低计算成本？
• RQ5 当目标先验为重尾分布或与虚假先验具有不同参数形式时，先验交换是否仍能保持准确性？

主要发现

• 先验交换在后验估计误差方面始终低于重要性采样，尤其在目标先验与虚假先验差异较大时，后者因方差过高而失效。
• 在贝叶斯广义线性模型中，先验交换在重尾分布和稀疏性诱导先验下实现了高精度推断，收敛速度比直接MCMC采样快几个数量级。
• 对于高斯混合模型和LDA等潜因子模型，先验交换通过使用促进多样性的先验成功分离了冗余的主题簇，提升了可解释性。
• 墙时测量显示，先验交换比直接推断快得多——尤其在需考虑多个目标先验时，速度提升达数个数量级。
• 即使目标先验高度非高斯或与虚假先验参数形式不同，该方法仍能保持高精度，展现出强鲁棒性。
• 在合成数据和真实世界数据（如Simple English Wikipedia语料库）上的实证结果证实，先验交换可在不重新运行昂贵推断流水线的前提下，实现复杂先验下的高效后验计算。