[论文解读] On the Properties of Kullback-Leibler Divergence Between Gaussians.

Yufeng Zhang, Wanwei Liu+3 more|arXiv (Cornell University)|Feb 10, 2021

Statistical Mechanics and Entropy参考文献 18被引用 9

一句话总结

本文研究了多变量正态分布之间 Kullback-Leibler (KL) 散度的性质，在约束条件下建立了非对称 KL 散度的维度无关界，并推导出三个正态分布之间的松弛三角不等式。主要贡献在于所有推导出的界均与维度 $ n $ 无关，揭示了高斯族中 KL 散度的内在对称性和稳定性特性。

ABSTRACT

Kullback-Leibler (KL) divergence is one of the most important divergence measures between probability distributions. In this paper, we investigate the properties of KL divergence between Gaussians. Firstly, for any two $n$-dimensional Gaussians $\mathcal{N}_1$ and $\mathcal{N}_2$, we find the supremum of $KL(\mathcal{N}_1||\mathcal{N}_2)$ when $KL(\mathcal{N}_2||\mathcal{N}_1)\leq \epsilon$ for $\epsilon>0$. This reveals the approximate symmetry of small KL divergence between Gaussians. We also find the infimum of $KL(\mathcal{N}_1||\mathcal{N}_2)$ when $KL(\mathcal{N}_2||\mathcal{N}_1)\geq M$ for $M>0$. Secondly, for any three $n$-dimensional Gaussians $\mathcal{N}_1, \mathcal{N}_2$ and $\mathcal{N}_3$, we find a bound of $KL(\mathcal{N}_1||\mathcal{N}_3)$ if $KL(\mathcal{N}_1||\mathcal{N}_2)$ and $KL(\mathcal{N}_2||\mathcal{N}_3)$ are bounded. This reveals that the KL divergence between Gaussians follows a relaxed triangle inequality. Importantly, all the bounds in the theorems presented in this paper are independent of the dimension $n$.

研究动机与目标

• 分析当 $ KL(\mathcal{N}_1||\mathcal{N}_2) \leq \epsilon $ 时 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 的上确界，揭示小 KL 散度的对称性特性。
• 在约束 $ KL(\mathcal{N}_2||\mathcal{N}_1) \geq M $ 下确定 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 的下确界，刻画大散度的行为特征。
• 在给定 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 和 $ KL(\mathcal{N}_2||\mathcal{N}_3) $ 的界的情况下，推导 $ KL(\mathcal{N}_1||\mathcal{N}_3) $ 的界，建立高斯 KL 散度的松弛三角不等式。
• 确保所有推导出的界均与维度 $ n $ 无关，从而在高维设置中实现可扩展且与维度无关的分析。

提出的方法

• 通过高斯分布参数的解析优化，推导在 $ KL(\mathcal{N}_2||\mathcal{N}_1) \leq \epsilon $ 约束下 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 的上确界。
• 通过均值与协方差差异的变分分析，计算当 $ KL(\mathcal{N}_2||\mathcal{N}_1) \geq M $ 时 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 的下确界。
• 建立 $ KL(\mathcal{N}_1||\mathcal{N}_3) $ 的维度无关上界，该上界以 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 和 $ KL(\mathcal{N}_2||\mathcal{N}_3) $ 表示，推广了三角不等式。
• 利用多变量正态分布之间 KL 散度的闭式表达式，推导出仅依赖于散度大小、而不依赖于维度 $ n $ 的界。
• 利用高斯分布的结构，确保所有界均为紧致且与环境维度无关。

实验结果

研究问题

• RQ1 当 $ KL(\mathcal{N}_2||\mathcal{N}_1) $ 受 $ \epsilon $ 限制时，$ KL(\mathcal{N}_1||\mathcal{N}_2) $ 的最大值是多少？
• RQ2 当 $ KL(\mathcal{N}_2||\mathcal{N}_1) $ 超过阈值 $ M $ 时，$ KL(\mathcal{N}_1||\mathcal{N}_2) $ 的最小值是多少？
• RQ3 能否为三个正态分布之间的 KL 散度建立一个松弛三角不等式，且其界与维度无关？
• RQ4 多变量正态分布之间 KL 散度的对称性在小散度和大散度情况下如何表现？

主要发现

• 在 $ KL(\mathcal{N}_2||\mathcal{N}_1) \leq \epsilon $ 条件下，$ KL(\mathcal{N}_1||\mathcal{N}_2) $ 的上确界有界且与维度无关，揭示了小散度下的近似对称性。
• 当 $ KL(\mathcal{N}_2||\mathcal{N}_1) \geq M $ 时，$ KL(\mathcal{N}_1||\mathcal{N}_2) $ 的下确界严格为正，且同样与维度 $ n $ 无关。
• 推导出 $ KL(\mathcal{N}_1||\mathcal{N}_3) $ 的维度无关上界，该上界以 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 和 $ KL(\mathcal{N}_2||\mathcal{N}_3) $ 表示，证实了松弛三角不等式。
• 本文推导的所有界均与维度 $ n $ 无关，使其适用于高维统计与机器学习应用。
• 结果表明，即使在高维情况下，高斯分布之间 KL 散度在非对称约束下仍表现出稳定且有界的特性。