[论文解读] Strong replica symmetry in high-dimensional optimal Bayesian inference

Jean Barbier, Dmitry Panchenko|arXiv (Cornell University)|May 6, 2020

Statistical Methods and Inference被引用 6

一句话总结

该论文通过利用来自新型指数分布侧观测的扰动推导出 Franz-de Sanctis 恒等式，证明了所有多重重叠的集中性，从而在高维最优贝叶斯推断中建立了强副本对称性。关键结果是后验分布渐近简化为由一个随机测度所控制的结构，验证了稀疏图模型中自由能和互信息的副本对称公式。

ABSTRACT

We consider generic optimal Bayesian inference, namely, models of signal reconstruction where the posterior distribution and all hyperparameters are known. Under a standard assumption on the concentration of the free energy, we show how replica symmetry in the strong sense of concentration of all multioverlaps can be established as a consequence of the Franz-de Sanctis identities; the identities themselves in the current setting are obtained via a novel perturbation coming from exponentially distributed "side-observations" of the signal. Concentration of multioverlaps means that asymptotically the posterior distribution has a particularly simple structure encoded by a random probability measure (or, in the case of binary signal, a non-random probability measure). We believe that such strong control of the model should be key in the study of inference problems with underlying sparse graphical structure (error correcting codes, block models, etc) and, in particular, in the rigorous derivation of replica symmetric formulas for the free energy and mutual information in this context.

研究动机与目标

• 在高维最优贝叶斯推断中建立强副本对称性，其中所有多重重叠实现集中。
• 将自由能和互信息的副本对称公式有效性扩展至具有稀疏图结构的模型。
• 为具有底层稀疏噪声的推断问题（如纠错码和社区检测）中的副本方法提供严格的理论基础。
• 在新设定中推导 Franz-de Sanctis 恒等式，利用来自指数分布侧观测的扰动。
• 表明后验分布渐近简化为由一个随机概率测度编码的结构，意味着对吉布斯测度具有强控制。

提出的方法

• 引入一种新型扰动，利用指数分布的侧观测，在最优贝叶斯推断背景下推导 Franz-de Sanctis 恒等式。
• 应用 Franz-de Sanctis 恒等式证明所有多重重叠的集中性，从而推导出强副本对称性。
• 使用 Aldous-Hoover 表示法，通过独立同分布的均匀随机变量表征吉布斯测度联合矩的渐近行为。
• 通过对称性和渐近分析，将多重重叠的联合矩约化为对独立同分布变量 $u_{\rho}$、$x_{i,\rho}$ 和 $v_i$ 的期望。
• 利用 Nishimori 恒等式将重叠的方差与两个副本之间重叠的方差联系起来，从而实现集中性的证明。
• 结合自由能的集中性（事先假设）与推导出的恒等式，建立强对称性。

实验结果

研究问题

• RQ1 能否在高维最优贝叶斯推断中严格建立强副本对称性——即所有多重重叠的集中性？
• RQ2 Franz-de Sanctis 恒等式如何适应一种涉及指数分布侧观测的新颖扰动框架？
• RQ3 在强副本对称性下，后验分布的渐近结构在多大程度上得以简化？
• RQ4 该框架能否用于推导稀疏图模型中自由能和互信息的副本对称公式？
• RQ5 Nishimori 恒等式在最优贝叶斯设定中证明重叠集中性时起到何种作用？

主要发现

• 所有多重重叠在渐近下实现集中，意味着后验分布的极限由单一随机概率测度所控制。
• 使用指数分布的侧观测使得在新设定中推导出 Franz-de Sanctis 恒等式成为可能，这是证明强副本对称性的关键。
• 后验分布的结构简化为由随机测度编码的形式，渐近 quenched 吉布斯测度等价于对独立同分布均匀变量的期望。
• 样本与信号之间重叠的方差等于两个独立样本之间重叠的方差，这是 Nishimori 恒等式的直接结果。
• 多重重叠的联合矩收敛于对独立同分布变量 $u_{\rho}$、$x_{i,\rho}$ 和 $v_i$ 的积分，证实了在渐近极限下 Aldous-Hoover 表示。
• 该结果为稀疏图模型（如 LDPC 码和随机块模型）中副本对称公式的合理性提供了严格依据。