[论文解读] On the Upper Bound of the Kullback-Leibler Divergence and Cross Entropy

Min Chen, Mateu Sbert|arXiv (Cornell University)|Nov 19, 2019

Data Visualization and Analytics参考文献 3被引用 6

一句话总结

本文在使用熵编码对有限字母表进行编码时，建立了交叉熵和Kullback-Leibler（KL）散度的有限上界||Z||−1，解决了信息论成本-收益分析中KL散度无界的本质问题。提出了一种新的有界散度度量，并与JS散度及其他有界替代度量进行了比较，表明该新度量在实际应用中提供了直观、可解释且可扩展的KL散度替代方案。

ABSTRACT

This archiving article consists of several short reports on the discussions between the two authors over the past two years at Oxford and Madrid, and their work carried out during that period on the upper bound of the Kullback-Leibler divergence and cross entropy. The work was motivated by the cost-benefit ratio proposed by Chen and Golan [1], and the less desirable property that the Kullback-Leibler (KL) divergence used in the measure is unbounded. The work subsequently (i) confirmed that the KL-divergence used in the cost-benefit ratio should exhibit a bounded property, (ii) proposed a new divergence measure, and (iii) compared this new divergence measure with a few other bounded measures.

研究动机与目标

• 为解决信息论成本-收益分析中KL散度无界的问题，该问题在值趋近于−∞时会损害可解释性。
• 基于熵编码的语义和字母表大小，建立交叉熵和KL散度的有限上界。
• 提出一种新的有界散度度量，保留有界性、可解释性和可交换性等理想特性。
• 从对称性、曲率和语义直觉等方面，将新度量与现有有界度量（如JS散度）进行比较。

提出的方法

• 通过分析当最不可能的符号被最频繁使用时，熵编码中最坏情况下的效率损失，推导出交叉熵的上界为||Z||−1。
• 使用二进制前缀码构造（如Huffman编码），证明在大小为||Z||=n的字母表中，任一符号的编码长度不会超过n−1位，从而确立上界。
• 基于形式pᵢ log(|pᵢ−qᵢ|+1)提出一种新的散度度量，该度量具有有界性和可解释性，其变体支持可交换性与广义缩放。
• 引入|pᵢ−qᵢ|ᵏ+1形式的广义版本（k=1和k=2），以控制曲率和敏感度。
• 通过逐字母散度图比较新散度与JS散度及KL散度，评估其对称性、单调性和语义直觉。
• 将所有有界度量按ℋ_max(ℤ)进行缩放，以确保其在[0, ℋ_max(ℤ)]范围内有界，从而在成本-收益框架中实现一致的可解释性。

实验结果

研究问题

• RQ1 在使用熵编码原理对有限字母表进行编码时，交叉熵和KL散度是否存在有限上界？
• RQ2 能否构造一种有界散度度量，在避免无界值的同时保留编码低效性的语义含义？
• RQ3 在JS散度、新散度及其变体中，哪一种度量在可解释性、对称性和与KL散度的曲率相似性之间达到最佳平衡？
• RQ4 在概率差异变化时，新散度度量的行为如何？它们是否表现出直观的不对称或对称模式？

主要发现

• 对于任意有限字母表ℤ，交叉熵ℋ(P,Q)的上界为||ℤ||−1，该结果源于最优前缀编码中的最大码字长度。
• 当真实PMF P为均匀分布而估计PMF Q高度偏斜时，KL散度ℋ(P||Q)的上界为ℋ_max(ℤ)，证实了有限上界的客观存在。
• 所提出的新型散度度量（定义为pᵢ log(|pᵢ−qᵢ|+1)）具有有界性，且行为直观：散度随|pᵢ−qᵢ|增大而增加，其广义可交换形式具有对称性。
• 新散度的非可交换版本（公式5）保留了KL散度的部分不对称性，适用于对方向性有要求的应用场景。
• 可交换版本（公式6，k=2）的曲率与KL散度更接近，同时保持有界性，并确保散度与|pᵢ−qᵢ|之间存在正相关关系。
• JS散度与k=2的新散度在曲率上均比基本新散度更接近KL散度，但新散度因近似线性形状而具备更高的可解释性与心理估算便捷性。