[论文解读] On the Estimation of Information Measures of Continuous Distributions

Georg Pichler, Pablo Piantanida+1 more|arXiv (Cornell University)|Feb 7, 2020

Statistical Mechanics and Entropy参考文献 38被引用 4

一句话总结

本文確立了從有限樣本估計連續分佈微分熵的基礎極限，並提供了置信區間。證明了在未施加有界支撐與Lipschitz連續性等約束條件下，估計是不可能的；並在這些條件下，為基於直方圖的估計器推導出明確的置信區間，其結果可推廣至互信息與相對熵。

ABSTRACT

The estimation of information measures of continuous distributions based on samples is a fundamental problem in statistics and machine learning. In this paper, we analyze estimates of differential entropy in $K$-dimensional Euclidean space, computed from a finite number of samples, when the probability density function belongs to a predetermined convex family $\mathcal{P}$. First, estimating differential entropy to any accuracy is shown to be infeasible if the differential entropy of densities in $\mathcal{P}$ is unbounded, clearly showing the necessity of additional assumptions. Subsequently, we investigate sufficient conditions that enable confidence bounds for the estimation of differential entropy. In particular, we provide confidence bounds for simple histogram based estimation of differential entropy from a fixed number of samples, assuming that the probability density function is Lipschitz continuous with known Lipschitz constant and known, bounded support. Our focus is on differential entropy, but we provide examples that show that similar results hold for mutual information and relative entropy as well.

研究动机与目标

• 確定是否能僅從未知密度在凸族 P 中的 N 個獨立同分布樣本中，以固定的置信水平 δ 和精度 C 估計微分熵。
• 識別此類估計可行的必要與充分條件。
• 在已知Lipschitz連續性與有界支撐的條件下，為基於直方圖的估計器推導明確的置信區間。
• 將分析推廣至互信息與相對熵等其他資訊度量。
• 透過證明若移除有界支撐或Lipschitz連續性假設，則估計將變得不可能，來展示這些假設的必要性。

提出的方法

• 在 K 維歐幾里得空間中分析使用有限樣本集的微分熵估計。
• 引入一種基於直方圖的估計器，將有界支撐劃分為 M^K 個超立方體。
• 利用已知的Lipschitz常數 L，以界定真實密度與其分段常數直方圖近似之間的近似誤差。
• 應用集中不等式，以界定經驗微分熵與其期望之間的偏差。
• 運用引理來界定因密度近似產生的偏差與因抽樣波動產生的變異。
• 推導出結合偏差與變異項的置信區間，明確地將準確度與樣本數 N、維度 K、Lipschitz常數 L 及置信水平 δ 關聯起來。

实验结果

研究问题

• RQ1 是否能僅使用來自未知密度在凸族 P 中的 N 個獨立同分布樣本，以固定的置信水平 δ 和精度 C 估計微分熵？
• RQ2 確保此類置信區間存在的必要與充分條件為何？
• RQ3 基於直方圖的估計器的置信區間如何依賴於樣本數 N、維度 K、Lipschitz常數 L 及置信水平 δ？
• RQ4 在類似假設下，是否能為互信息與相對熵建立類似的置信區間？
• RQ5 若移除有界支撐或 Lipschitz 連續性假設，估計的可行性會發生何種變化？

主要发现

• 若密度族 P 的微分熵無界，則無法以保證的置信區間估計微分熵。
• 已知的有界支撐與 L-Lipschitz 連續密度是置信區間存在的充分條件。
• 對於基於直方圖的估計器，偏差項被界定為 L^K / (2M) * log(M * η(K, L))，其中 η(K, L) 依賴於 K 與 L。
• 變異項以高機率被界定為 sqrt( (2/N) * log(2/δ) * log N )。
• 整體置信區間結合了這些項，並顯示若移除有界支撐或 Lipschitz 連續性假設，則估計將變得不可能。
• 結果可推廣至互信息與相對熵，表明這些度量也具有類似的可行性條件。