[论文解读] On a generalization of the Jensen-Shannon divergence and the JS-symmetrization of distances relying on abstract means

Frank Nielsen|arXiv (Cornell University)|Apr 8, 2019

Statistical Mechanics and Entropy参考文献 65被引用 28

一句话总结

本文通过抽象均值的手段推广了Jensen-Shannon散度，以实现指数族和尺度族概率分布之间散度的闭式表达。通过分别利用几何均值处理指数族和调和均值处理柯西尺度族，作者推导出新的对称化散度，这些散度具有解析可处理性，并可应用于聚类和量子信息场景。

ABSTRACT

The Jensen-Shannon divergence is a renown bounded symmetrization of the unbounded Kullback-Leibler divergence which measures the total Kullback-Leibler divergence to the average mixture distribution. However the Jensen-Shannon divergence between Gaussian distributions is not available in closed-form. To bypass this problem, we present a generalization of the Jensen-Shannon (JS) divergence using abstract means which yields closed-form expressions when the mean is chosen according to the parametric family of distributions. More generally, we define the JS-symmetrizations of any distance using generalized statistical mixtures derived from abstract means. In particular, we first show that the geometric mean is well-suited for exponential families, and report two closed-form formula for (i) the geometric Jensen-Shannon divergence between probability densities of the same exponential family, and (ii) the geometric JS-symmetrization of the reverse Kullback-Leibler divergence. As a second illustrating example, we show that the harmonic mean is well-suited for the scale Cauchy distributions, and report a closed-form formula for the harmonic Jensen-Shannon divergence between scale Cauchy distributions. We also define generalized Jensen-Shannon divergences between matrices (e.g., quantum Jensen-Shannon divergences) and consider clustering with respect to these novel Jensen-Shannon divergences.

研究动机与目标

• 解决高斯分布及其他指数族分布之间Jensen-Shannon散度缺乏闭式表达的问题。
• 通过抽象均值（如几何均值、调和均值）推广JS散度，以对任意散度（包括Kullback-Leibler散度和反向KL散度）实现对称化。
• 建立统计族在M-混合下封闭的条件，以实现解析可处理性。
• 将该框架扩展至矩阵散度，尤其适用于量子信息和矩阵聚类场景。
• 提出一种统一的对称化机制，利用广义均值对非对称散度进行对称化。

提出的方法

• 通过将统计的$M$-混合分布与对称化均值$N$结合，引入$(M,N)$-Jensen-Shannon散度。
• 使用拟算术均值和抽象加权均值（如几何均值、调和均值）定义$M$-混合，以保持参数族的封闭性。
• 通过累积函数$F$和Bregman散度$B_F^*$，推导出指数族中几何JS散度的闭式表达。
• 将调和均值应用于尺度柯西族，得到涉及尺度参数几何均值的闭式调和JS散度。
• 利用矩阵均值和如logdet等矩阵散度，为对称正定矩阵定义矩阵$M$-Jensen-Shannon散度。
• 提出使用$N_{\beta}$均值的偏斜对称化方法，将JS框架推广至非对称和偏斜散度。

实验结果

研究问题

• RQ1 Jensen-Shannon散度能否被推广，以对指数族分布（特别是高斯分布）给出闭式表达？
• RQ2 哪种抽象均值（如几何均值、调和均值）能确保参数族在$M$-混合下保持封闭，从而实现解析解？
• RQ3 如何将JS对称化框架扩展至KL散度以外的任意基底散度？
• RQ4 矩阵值分布的$M$-Jensen-Shannon散度具有何种结构，其与量子信息散度有何关联？
• RQ5 使用加权均值的偏斜对称化能否产生更灵活且数值更稳定的散度？

主要发现

• 同一指数族密度之间的几何Jensen-Shannon散度为$\mathrm{JS}^{G_{\alpha}}[p_{\theta_1}:p_{\theta_2}] = \exp(-J_F^\alpha(\theta_1:\theta_2))$，其中$J_F^\alpha$为累积函数的$\alpha$-散度。
• 对于反向Kullback-Leibler散度，几何JS对称化得到$\mathrm{JS}^{G_{\alpha}}[p_{\theta_1}:p_{\theta_2}] = J_F^\alpha(\theta_1:\theta_2)$，提供了闭式对称化表达。
• 对于尺度柯西分布，调和均值得到闭式调和JS散度：$Z_{\alpha}^H(\theta_1:\theta_2) = \sqrt{\frac{\theta_1\theta_2}{(\theta_1\theta_2)_\alpha (\theta_1\theta_2)_{1-\alpha}}}$。
• 该框架可推广至矩阵散度，定义$\mathrm{JS}_D^M(X_1,X_2) = \frac{1}{2}(D(X_1,M(X_1,X_2)) + D(X_2,M(X_1,X_2)))$，其中$M$为矩阵均值。
• 偏斜$N_\beta$-Jeffreys对称化$J^{N_\beta}_D(p_1:p_2) = N_\beta(D(p_1:p_2), D(p_2:p_1))$将对称化推广至对称均值之外。
• 本文证明，几何均值适用于指数族，调和均值适用于尺度柯西族，可确保$M$-混合的封闭性。