[论文解读] Nested Sampling And Likelihood Plateaus

Doris Schittenhelm, Philipp Wacker|arXiv (Cornell University)|May 18, 2020

Gaussian Processes and Bayesian Inference参考文献 29被引用 4

一句话总结

本文严格证明了嵌套采样在似然函数存在显著平坦区（即似然值在正先验测度区域内恒定的区域）时仍可有效计算贝叶斯证据。尽管标准嵌套采样假设在单位区间内均匀采样，作者证明即使该假设在平坦区被违反，积分变换依然成立，并提出一种改进算法以提升此类情况下的性能。

ABSTRACT

The main idea of nested sampling is to substitute the high-dimensional likelihood integral over the parameter space $Ω$ by an integral over the unit line $[0,1]$ by employing a push-forward with respect to a suitable transformation. For this substitution, it is often implicitly or explicitly assumed that samples from the prior are uniformly distributed along this unit line after having been mapped by this transformation. We show that this assumption is wrong, especially in the case of a likelihood function with plateaus. Nevertheless, we show that the substitution enacted by nested sampling works because of more interesting reasons which we lay out. Although this means that analytically, nested sampling can deal with plateaus in the likelihood function, the actual performance of the algorithm suffers under such a setting and the method fails to approximate the evidence, mean and variance appropriately. We suggest a robust implementation of nested sampling by a simple decomposition idea which demonstrably overcomes this issue.

研究动机与目标

• 解决当似然函数存在非可忽略平坦区时，嵌套采样理论有效性的理论问题。
• 挑战嵌套采样中隐含的假设，即变换后先验样本在[0,1]区间内均匀分布。
• 为嵌套采样提供超越原始假设的严格数学基础，尤其在生存函数存在不连续性的情况下。
• 通过改进的算法方法，提升在似然平坦区场景下的嵌套采样实际性能。

提出的方法

• 作者分析嵌套采样诱导的推前测度，证明即使似然函数存在平坦区，积分变换依然有效。
• 将问题点定义为似然值在正先验测度集合上恒定的点，形成在推前测度下满足μ(P) = 0的集合P。
• 使用测度论工具，证明与平坦区对应的区间的并集在推前似然测度下测度为零。
• 建立似然平坦值对应的不可数个区间的并集可通过ℝ中开集的性质简化为可数个不相交区间的并集。
• 提出一种改进的嵌套采样算法，通过调整此类区域的采样策略，更好地处理似然平坦区。
• 理论依据依赖于测度的下连续性及ℝ中区间（特别是半开与开区间）的结构特性。

实验结果

研究问题

• RQ1 当似然函数存在非零先验测度的平坦区时，标准嵌套采样积分变换是否仍然有效？
• RQ2 当似然函数存在平坦区时，[0,1]区间内均匀采样的隐含假设是否依然成立？
• RQ3 在生存函数存在不连续性的情况下，嵌套采样中的推前测度是否仍能正确给出证据积分？
• RQ4 对嵌套采样的哪些修改能提升其在似然平坦区存在时的性能？

主要发现

• 即使似然函数存在显著平坦区，标准嵌套采样变换在数学上依然成立，尽管违反了均匀采样假设。
• 在推前测度下，具有平坦似然值的点集的先验测度为零，确保了积分代换的正确性。
• 与平坦似然值对应的区间的并集可简化为可数个不相交区间的并集，保持了测度论的一致性。
• 在平坦区间上，似然的推前测度总测度为零，从而证明了变换正确的理论依据。
• 提出一种改进的嵌套采样算法，通过调整采样动态，显著提升了在似然平坦区场景下的性能。
• 嵌套采样的理论基础被扩展至包含生存函数不连续的似然函数，从而扩大了其适用范围。