[论文解读] Mutual Information for the Stochastic Block Model by the Adaptive Interpolation Method

Jean Barbier, Chun Lam Chan+1 more|arXiv (Cornell University)|Feb 19, 2019

Random Matrices and Applications参考文献 30被引用 4

一句话总结

本文使用自适应插值法，对非对称两群随机块模型中的互信息，给出了一个直接、自包含的单字母变分表达式的证明。与以往依赖于矩阵估计问题映射的间接方法不同，本工作完全在SBM框架内推导结果，通过一种针对伯努利变量的新近似分部积分公式，避免了高斯积分分部积分的使用。

ABSTRACT

We rigorously derive a single-letter variational expression for the mutual information of the asymmetric two-groups stochastic block model in the dense graph regime. Existing proofs in the literature are indirect, as they involve mapping the model to a rank-one matrix estimation problem whose mutual information is then determined by a combination of methods (e.g., interpolation, cavity, algorithmic, spatial coupling). In this contribution we provide a self-contained direct method using only the recently introduced adaptive interpolation method.

研究动机与目标

• 提供在密集非对称两群随机块模型中渐近互信息的严格、直接推导。
• 克服以往间接证明方法的局限性，这些方法依赖于映射到秩一矩阵估计问题。
• 通过仅使用自适应插值法而不引入其他模型，统一并简化现有方法。
• 为邻接矩阵中的伯努利随机变量开发一种新的近似分部积分公式。
• 使用单一、一致的方法建立互信息的紧致上界和下界。

提出的方法

• 直接将自适应插值法应用于随机块模型，避免映射到矩阵分解问题。
• 为伯努利分布的邻接矩阵元素推导出一种新的近似分部积分公式，替代标准的高斯分部积分。
• 通过参数 $ t \in [0,1] $ 在原始模型与更简单的参考模型之间构建连续插值，追踪自由能的导数。
• 采用两步插值：首先引入一个扰动参数 $ \epsilon $，然后引入一个时间类参数 $ t $，以控制插值路径。
• 利用新近似分部积分公式计算自由能关于 $ t $ 的导数，从而导出变分表达式。
• 结果表达式在 $ n \to \infty $ 极限下收敛为单字母变分公式，从而得到互信息。

实验结果

研究问题

• RQ1 能否在不映射到矩阵估计问题的前提下，对非对称两群随机块模型中的互信息实现直接、自包含的证明？
• RQ2 自适应插值法在推导该背景下互信息的紧致上界和下界中起到什么作用？
• RQ3 在图模型背景下，如何将分部积分方法适配于非高斯、伯努利分布的变量？
• RQ4 自适应插值法是否能提供一个统一框架，同时覆盖对称与非对称社区规模？
• RQ5 该方法能否在避免高斯分部积分技术复杂性的同时，保持严谨性与紧致性？

主要发现

• 本文建立了密集非对称两群随机块模型中渐近互信息的单字母变分表达式。
• 结果直接从SBM推导得出，无需映射到秩一矩阵分解问题，提供了更透明且统一的证明。
• 自适应插值法同时给出了紧致的上界和下界，而经典插值法仅能给出单侧不等式。
• 为邻接矩阵中的伯努利变量专门开发了一种新的近似分部积分公式，使推导无需依赖高斯假设。
• 该方法避免使用消息传递或洞穴方法，且不依赖于二阶相变的假设。
• 该证明适用于最广泛的密集区域，包括因非对称性导致的一阶（不连续）相变情形。