[论文解读] Understanding Phase Transitions via Mutual Information and MMSE

Galen Reeves, Henry D. Pfister|arXiv (Cornell University)|Jul 3, 2019

Statistical Mechanics and Entropy被引用 5

一句话总结

本文通过标准线性模型，建立了高维推断中互信息、最小均方误差（MMSE）与相变之间的严格联系。通过信息论工具和大系统极限，证明了互信息和MMSE的副本对称公式是精确的，解决了统计物理和信息论领域长期存在的猜想。

ABSTRACT

The ability to understand and solve high-dimensional inference problems is essential for modern data science. This article examines high-dimensional inference problems through the lens of information theory and focuses on the standard linear model as a canonical example that is both rich enough to be practically useful and simple enough to be studied rigorously. In particular, this model can exhibit phase transitions where an arbitrarily small change in the model parameters can induce large changes in the quality of estimates. For this model, the performance of optimal inference can be studied using the replica method from statistical physics but, until recently, it was not known if the resulting formulas were actually correct. In this chapter, we present a tutorial description of the standard linear model and its connection to information theory. We also describe the replica prediction for this model and outline the authors' recent proof that it is exact.

研究动机与目标

• 严格验证副本方法在高维推断问题中对互信息和MMSE预测的正确性。
• 理解标准线性模型中的相变现象，其中参数的微小变化可引发性能的剧烈转变。
• 通过证明副本对称公式在标准线性模型中是精确的，弥合信息论与统计物理之间的鸿沟。
• 表征后验相关性、MMSE与高维设定下信息论量之间的关系。
• 为数据科学和统计物理领域的从业者提供一个连接互信息、MMSE与相变的教程框架。

提出的方法

• 以标准线性模型作为研究高维推断的典型框架，其中测量和信号均为独立同分布的高斯分布。
• 应用I-MMSE关系将互信息与MMSE联系起来，使估计性能可通过信息论量进行分析。
• 引入增量信息序列和条件MMSE函数，研究估计质量随信噪比变化的演化过程。
• 通过QR分解采用两阶段估计方法，将感兴趣的信号与干扰分离，将问题转化为条件高斯误差模型。
• 分析变换后模型中的误差项，确定其在何种条件下趋于高斯分布，从而实现精确的渐近表征。
• 通过证明在大系统极限下信息与MMSE序列的收敛性，证明了标准线性模型中互信息副本对称公式的精确性。

实验结果

研究问题

• RQ1 在高维极限下，副本方法对标准线性模型中互信息的预测是否精确？
• RQ2 估计性能中的相变如何与互信息和MMSE的行为相关联？
• RQ3 后验相关性在高维推断相变中扮演何种角色？
• RQ4 在两阶段估计过程中，误差项在何种条件下趋于近似高斯分布？
• RQ5 I-MMSE关系如何用于推导估计性能的精确渐近公式？

主要发现

• 在大系统极限下，标准线性模型中互信息的副本对称公式被证明是精确的。
• 估计性能的相变对应于互信息和MMSE函数的非解析行为。
• 条件MMSE函数在相变点处表现出导数不连续性，表明估计难度发生急剧变化。
• 信息序列的二阶差分在相变点处发散，提供了临界行为的定量特征。
• 当干扰被足够精确地估计时，两阶段估计过程中误差项在渐近下趋于高斯分布。
• I-MMSE关系为表征标准线性模型的整个相图提供了强大工具，将估计质量与信息论量联系起来。