[论文解读] Rooted Trees with Probabilities Revisited

Georg Böcherer|arXiv (Cornell University)|Feb 4, 2013

Wireless Communication Security Techniques参考文献 3被引用 5

一句话总结

本文重新探討帶機率的有根樹，引入微分LANSIT，以表達葉節點分佈的歸一化泛函（如熵率與資訊分歧）作為分支節點分佈的期望值。主要貢獻在於提出Pinsker不等式的樹結構版本，顯示若某分佈與乘積分佈之間的歸一化分歧趨近於零，則其熵率將收斂至乘積分佈的熵率。

ABSTRACT

Rooted trees with probabilities are convenient to represent a class of random processes with memory. They allow to describe and analyze variable length codes for data compression and distribution matching. In this work, the Leaf-Average Node-Sum Interchange Theorem (LANSIT) and the well-known applications to path length and leaf entropy are re-stated. The LANSIT is then applied to informational divergence. Next, the differential LANSIT is derived, which allows to write normalized functionals of leaf distributions as an average of functionals of branching distributions. Joint distributions of random variables and the corresponding conditional distributions are special cases of leaf distributions and branching distributions. Using the differential LANSIT, Pinsker's inequality is formulated for rooted trees with probabilities, with an application to the approximation of product distributions. In particular, it is shown that if the normalized informational divergence of a distribution and a product distribution approaches zero, then the entropy rate approaches the entropy rate of the product distribution.

研究动机与目标

• 將葉節點平均節點總和交換定理（LANSIT）擴展至帶機率的有根樹上的連續與歸一化泛函。
• 推導LANSIT的微分版本，將歸一化泛函（例如熵率、分歧）表示為分支節點分佈的期望值。
• 建立Pinsker不等式的樹結構類比，連結歸一化資訊分歧與分支分佈的變異距離。
• 分析當分佈在樹上趨近於乘積分佈時，熵率的漸近行為。
• 證明歸一化分歧的收斂性可導致分支分佈之熵率與其他泛函的收斂。

提出的方法

• 透過路徑長度歸一化原始LANSIT，引入微分LANSIT，定義分支節點上的機率分佈為PB(j) = Qj / E[w(L)]。
• 應用微分LANSIT推導熵與分歧的歸一化版本：H(PL)/E[w(L)] = E[H(PSB)] 及 D(PL∥PL′)/E[w(L)] = E[D(PSB∥PS′B)]。
• 利用微分LANSIT提出樹結構的Pinsker不等式：D(PL∥PL′)/E[w(L)] ≥ 1/(2 ln 2) E[d²(PSB, PS′B)]。
• 應用馬可夫不等式與連續性論證，顯示若歸一化分歧趨近於零，則分支分佈之間大變異距離的機率亦趨近於零。
• 利用泛函（例如熵、任意g）在分支分佈上的有界性與連續性，證明在歸一化分歧趨近於零時，分支分佈上期望值的收斂性。

实验结果

研究问题

• RQ1 如何將LANSIT重新表述為熵率與分歧等歸一化泛函的形式？
• RQ2 Pinsker不等式能否廣義化至帶機率的有根樹，連結歸一化分歧與分支分佈的變異距離？
• RQ3 當葉節點分佈與乘積分佈之間的歸一化分歧趨近於零時，其熵率會如何變化？
• RQ4 在何種條件下，歸一化分歧的收斂性可導致分支行為分佈的收斂？
• RQ5 分支分佈上泛函的連續性與有界性如何影響在分歧趨近於零時的收斂行為？

主要发现

• 微分LANSIT允許將歸一化熵率表示為 E[H(PSB)]，其中 PSB 為分支節點上的分佈。
• 葉節點分佈之間的歸一化資訊分歧等於分支分佈上分歧期望值：D(PL∥PL′)/E[w(L)] = E[D(PSB∥PS′B)]。
• 建立樹結構的Pinsker不等式：D(PL∥PL′)/E[w(L)] ≥ 1/(2 ln 2) E[d²(PSB, PS′B)]。
• 若歸一化分歧 D(PL∥P+S∗)/E[w(L)] → 0 當 |L| → ∞，則熵率 H(PL)/E[w(L)] → H(PS∗)。
• 對於任何在分支分佈上有界且連續的泛函 g，當歸一化分歧 D(PL∥P+S∗)/E[w(L)] → 0 時，E[g(PSB)] → g(PS∗)。