[论文解读] Mutual information decay for factors of IID

Balázs Gerencsér, Viktor Harangi|arXiv (Cornell University)|Mar 13, 2017

Markov Chains and Monte Carlo Methods被引用 1

一句话总结

本文建立了在 d-正則樹（d ≥ 3）上的因子 i.i.d. 時序過程中，頂點標籤之間互資訊衰減速率的緊緻上下界。結果顯示，雖然通用上界以 (d−1)−k/2 速度衰減，但個別過程可呈現更快的衰減——指數級快，達到 (d−1)−k 的階級——從而揭示了最壞情況與典型行為之間的根本差異。這些結果透過熵不等式與一種新穎的構造方法證明：使用 i.i.d. 高斯隨機變數的線性組合，再經符號變換生成具有可控相關性與互資訊衰減的二元過程。

ABSTRACT

This paper is concerned with factor of i.i.d. processes on the $d$-regular tree for $d \geq 3$. We study the mutual information of the values on two given vertices. If the vertices are neighbors (i.e., their distance is $1$), then a known inequality between the entropy of a vertex and the entropy of an edge provides an upper bound for the (normalized) mutual information. In this paper we obtain upper bounds for vertices at an arbitrary distance $k$, of order $(d-1)^{-k/2}$. Although these bounds are sharp, we also show that an interesting phenomenon occurs here: for any fixed process the rate of decay of the mutual information is much faster, essentially of order $(d-1)^{-k}$.

研究动机与目标

• 理解在 d-正則樹（d ≥ 3）上的因子 i.i.i.d. 時序過程中，頂點標籤之間互資訊在距離 k 處的衰減速率。
• 確定已知的互資訊上界 (d−1)−k/2 是否對所有過程都緊緻，或是否存在特定過程導致更快的衰減。
• 探討通用上界與個別過程中實際觀察到的衰減速率之間的差異。
• 構造明確的因子 i.i.i.d. 時序過程範例，使互資訊以 (d−1)−k 的速率衰減，從而證明此更快衰減速率的緊緻性。

提出的方法

• 利用熵不等式推導歸一化互資訊的通用上界，特別是運用已知不等式 H(Xu,Xv) ≥ 2(d−1)/d H(Xv) 來處理相鄰頂點。
• 透過對樹結構上資訊流的遞迴分析，建立距離 k 處互資訊的 (d−1)−k/2 階衰減界。
• 構造具有精心選擇係數 αk = k^{−1/2 + ε}/√(d−1)^k 的線性因子 i.i.d. 高斯過程，以控制相關性衰減。
• 對高斯過程應用符號函數，得到 {±1}-值的因子 i.i.i.d. 時序過程，進而能在二元設定下分析互資訊。
• 利用凸性與求和估計方法，下界估算距離 k 處標籤的共變異與相關係數，顯示其衰減為 k^{1−2ε}(d−1)^{−k} 階。
• 將對稱二元隨機變數的相關係數與互資訊關聯，證明互資訊衰減為 Ω(k^{2−4ε}(d−1)^{−k})，從而確認 (d−1)^{−k} 衰減速率的緊緻性。

实验结果

研究问题

• RQ1 在 d-正則樹上的因子 i.i.i.d. 時序過程中，頂點標籤在距離 k 處的歸一化互資訊之最佳上界為何？
• RQ2 已知的互資訊上界 (d−1)^{−k/2} 對所有過程都緊緻嗎？還是某些過程可實現更快的衰減？
• RQ3 是否存在單一因子 i.i.i.d. 時序過程，使其在所有距離 k 處均實現互資訊衰減至 (d−1)^{−k}？
• RQ4 通用上界與實際過程之間的互資訊衰減速率有何差異？此差異的成因為何？
• RQ5 高斯因子中的相關性衰減與其符號變換後二元版本的互資訊衰減之間有何關係？

主要发现

• 距離 k 處的歸一化互資訊通用上界為 O((d−1)^{−k/2})，且此上界在緊緻意義下成立：對任意固定 k，存在過程可達此界。
• 對任意固定的因子 i.i.i.d. 時序過程，互資訊的衰減遠快於 (d−1)^{−k/2}，實際衰減速率在大 k 時為 (d−1)^{−k} 階。
• 本文構造出一個 {±1}-值的因子 i.i.i.d. 時序過程，使得距離 k 處的互資訊為 Ω(k^{2−4ε}(d−1)^{−k})（對任意 ε > 0），從而證明 (d−1)^{−k} 衰減速率在本質上是緊緻的。
• 對於對稱二元隨機變數，互資訊在漸近下與相關係數的平方成正比，因此可透過高斯過程中的相關性衰減推導出二元情況下互資訊的衰減。
• (d−1)^{−k/2} 的通用上界與 (d−1)^{−k} 的典型衰減速率之間的差異是真實且非平凡的：無單一過程能在所有 k 下達成最壞情況的上界。
• 結果表明，互資訊的衰減速率在不同過程中並非一致，且典型過程的衰減速度遠快於最壞情況上界所暗示的速率。