[论文解读] On the Kullback-Leibler divergence between location-scale densities

Frank Nielsen|arXiv (Cornell University)|Apr 23, 2019

Bayesian Methods and Mixture Models参考文献 12被引用 4

一句话总结

本文证明，任意两个位置尺度分布之间的Kullback-Leibler（KL）散度可简化为标准分布与另一族中经变换的位置尺度分布之间的KL散度，表明尺度族之间的散度仅取决于尺度比。本文证明，若标准分布为偶函数，则位置族之间f-散度对称；并证明，从查询分布到另一位置尺度族的最小f-散度与查询参数无关。

ABSTRACT

We show that the $f$-divergence between any two densities of potentially different location-scale families can be reduced to the calculation of the $f$-divergence between one standard density with another location-scale density. It follows that the $f$-divergence between two scale densities depends only on the scale ratio. We then report conditions on the standard distribution to get symmetric $f$-divergences: First, we prove that all $f$-divergences between densities of a location family are symmetric whenever the standard density is even, and second, we illustrate a generic symmetric property with the calculation of the Kullback-Leibler divergence between scale Cauchy distributions. Finally, we show that the minimum $f$-divergence of any query density of a location-scale family to another location-scale family is independent of the query location-scale parameters.

研究动机与目标

• 通过积分中的变量替换技术，推导位置尺度族之间f-散度的一般恒等式。
• 研究位置尺度族之间f-散度对称的条件，特别关注偶标准分布的作用。
• 证明从查询分布到另一位置尺度族的最小f-散度与查询的位置和尺度参数无关。
• 通过显式计算尺度柯西分布与半正态分布族之间的KL散度，展示这些恒等式的实际应用。

提出的方法

• 对交叉熵和KL散度积分应用变量替换变换，推导左、右尺度乘法与位置平移的恒等式。
• 将任意两个位置尺度密度之间的f-散度简化为标准密度与另一族中变换后密度之间的f-散度。
• 使用符号计算（Maxima）推导出如半正态与指数分布等尺度族之间KL散度的闭式表达式。
• 通过变换下的对称性，证明若标准密度为偶函数，则位置族之间f-散度对称。
• 将最小f-散度问题表述为位置尺度变换群作用下的优化问题，证明其对查询参数的不变性。
• 将最小化问题解释为向位置尺度流形的信息投影，与信息几何建立联系。

实验结果

研究问题

• RQ1 如何利用变量替换恒等式简化任意两个位置尺度密度之间f-散度的计算？
• RQ2 在何种条件下，位置族中两个密度之间的KL散度是对称的？
• RQ3 为何尺度密度之间的KL散度仅取决于尺度比？
• RQ4 从查询分布到目标位置尺度族的最小f-散度如何随查询参数变化？
• RQ5 能否为柯西或半正态等特定尺度族推导出KL散度的闭式表达式？

主要发现

• 任意两个位置尺度密度之间的f-散度可简化为标准密度与另一族中变换后密度之间的f-散度，显著简化计算。
• 尺度密度之间的KL散度仅取决于其尺度参数的比值，与位置无关。
• 若标准密度为偶函数，则位置族中所有f-散度均对称。
• 柯西分布之间的KL散度是对称的，经显式计算验证。
• 从查询分布到目标位置尺度族的最小f-散度与查询的位置和尺度参数无关，仅取决于标准密度。
• 对于半正态与指数尺度族，KL散度为 $\mathrm{KL}(p_{s_1}:q_{s_2}) = \sqrt{\frac{2}{\pi}}r - \log r + \log\sqrt{\frac{2}{\pi}} - \frac{1}{2} $，其中 $ r = \frac{s_1}{s_2} $，且在 $ r = \sqrt{\frac{\pi}{2}} $ 处取得最小值。