[论文解读] On Rényi and Tsallis entropies and divergences for exponential families

Frank Nielsen, Richard Nock|arXiv (Cornell University)|May 17, 2011

Statistical Mechanics and Entropy参考文献 10被引用 21

一句话总结

本文推导了指数族中Rényi与Tsallis散度及熵的闭式表达式，表明这些信息论度量仅依赖于累积量生成函数和自然参数。关键贡献是为同一指数族中成员之间的散度提供了一个通用公式，从而可通过自然参数的最大似然估计实现高效估计。

ABSTRACT

Many common probability distributions in statistics like the Gaussian, multinomial, Beta or Gamma distributions can be studied under the unified framework of exponential families. In this paper, we prove that both Rényi and Tsallis divergences of distributions belonging to the same exponential family admit a generic closed form expression. Furthermore, we show that Rényi and Tsallis entropies can also be calculated in closed-form for sub-families including the Gaussian or exponential distributions, among others.

研究动机与目标

• 推导同一指数族中概率分布之间Rényi与Tsallis散度的闭式表达式。
• 将该框架扩展至Rényi与Tsallis熵，包括香农熵作为极限情况。
• 为广泛使用的分布（如高斯分布、多项分布和指数族）提供广义熵与散度的统一解析处理。
• 通过自然参数的最大似然估计，实现这些熵与散度的高效估计。
• 建立Rényi与Tsallis散度与经典散度（如Kullback-Leibler散度与Bhattacharyya散度）之间的联系，通过偏斜Jensen散度实现。

提出的方法

• 利用偏斜Jensen散度 $ J_{F,\beta}(\theta:\theta') = \beta F(\theta) + (1-\beta)F(\theta') - F(\beta\theta + (1-\beta)\theta') $ 推导Rényi与Tsallis散度，该形式推广了Kullback-Leibler散度。
• 将Rényi散度表示为 $ D_{\beta}^{R}(p:q) = \frac{J_{F,\beta}(\theta:\theta')}{1-\beta} $，Tsallis散度表示为 $ D_{\beta}^{T}(p:q) = \frac{e^{-J_{F,\beta}(\theta:\theta')} - 1}{\beta - 1} $，适用于同一指数族中的分布。
• 推导Rényi熵为 $ H_{\beta}^{R}(p_F(\theta)) = \frac{1}{1-\beta} \big( F(\beta\theta) - \beta F(\theta) + \text{log} \text{E}_p[e^{(\beta-1)k(x)}] \big) $，其中包含基测度 $ k(x) $。
• 推导Tsallis熵为 $ H_{\beta}^{T}(p_F(\theta)) = \frac{1}{1-\beta} \big( e^{F(\beta\theta) - \beta F(\theta)} \text{E}_p[e^{(\beta-1)k(x)}] - 1 \big) $，结构类似。
• 证明当基测度 $ k(x) = 0 $ 时，表达式简化为 $ H_{\beta}^{R} = \frac{F(\beta\theta) - \beta F(\theta)}{1-\beta} $ 与 $ H_{\beta}^{T} = \frac{e^{F(\beta\theta) - \beta F(\theta)} - 1}{1-\beta} $，适用于高斯族、指数族与伯努利族。
• 利用i.i.d.样本对自然参数 $ \theta $ 的最大似然估计，实现熵与散度的实用计算，无需密度估计。

实验结果

研究问题

• RQ1 同一指数族中分布的Rényi与Tsallis散度能否以闭式表达？
• RQ2 当指数族的基测度为零时，Rényi与Tsallis熵如何简化？
• RQ3 在 $ \alpha \to 1 $ 的极限下，Rényi/Tsallis散度与Kullback-Leibler散度之间有何关系？
• RQ4 偏斜Jensen散度 $ J_{F,\alpha} $ 是否可作为指数族中广义散度的统一框架？
• RQ5 自然参数的最大似然估计在多大程度上可用于高效计算熵与散度？

主要发现

• 同一指数族中两个成员之间的Rényi与Tsallis散度可基于累积量生成函数 $ F $ 与偏斜Jensen散度 $ J_{F,\alpha} $ 表达为闭式。
• Rényi散度 $ D_{\alpha}^{R}(p:q) = \frac{J_{F,\alpha}(\theta:\theta')}{1-\alpha} $ 与Tsallis散度 $ D_{\alpha}^{T}(p:q) = \frac{e^{-J_{F,\alpha}(\theta:\theta')} - 1}{\alpha - 1} $ 对所有 $ \alpha \in (0,\infty) \setminus \{1\} $ 有效。
• 当基测度 $ k(x) = 0 $ 时，Rényi与Tsallis熵分别简化为 $ H_{\alpha}^{R} = \frac{F(\alpha\theta) - \alpha F(\theta)}{1-\alpha} $ 与 $ H_{\alpha}^{T} = \frac{e^{F(\alpha\theta) - \alpha F(\theta)} - 1}{1-\alpha} $。
• 香农熵作为极限 $ \alpha \to 1 $ 获得，表达式为 $ H(p_F(\theta)) = F(\theta) - \langle \theta, \nabla F(\theta) \rangle - \mathbb{E}_p[k(x)] $，当 $ k(x) = 0 $ 时简化为 $ F(\theta) - \langle \theta, \nabla F(\theta) \rangle $。
• Bhattacharyya系数与Hellinger距离在 $ \alpha = \frac{1}{2} $ 时作为特例被恢复，其中 $ B(p,q) = e^{-J_{F,1/2}(\theta:\theta')} $ 与 $ H(p,q) = \sqrt{1 - e^{-J_{F,1/2}(\theta:\theta')}} $。
• 自然参数的极大似然估计 $ \hat{\theta} = (\nabla F)^{-1}(\frac{1}{n}\sum t(x_i)) $ 可实现熵与散度的高效、闭式计算，无需密度估计。