[论文解读] Optimal Bounds between $f$-Divergences and Integral Probability Metrics

Rohit Agrawal, Thibaut Horel|arXiv (Cornell University)|Jun 10, 2020

Statistical Mechanics and Entropy参考文献 72被引用 2

一句话总结

本文通过凸对偶和f-散度的紧致变分表征，建立了f-散度与积分概率度量（IPMs）之间的最优界。它引入了一个广义矩生成函数，精确刻画了给定IPM下f-散度的最佳可能下界，统一并推广了经典结果，如Pinsker不等式和Hammersley-Chapman-Robbins界。

ABSTRACT

The families of $f$-divergences (e.g. the Kullback-Leibler divergence) and Integral Probability Metrics (e.g. total variation distance or maximum mean discrepancies) are widely used to quantify the similarity between probability distributions. In this work, we systematically study the relationship between these two families from the perspective of convex duality. Starting from a tight variational representation of the $f$-divergence, we derive a generalization of the moment-generating function, which we show exactly characterizes the best lower bound of the $f$-divergence as a function of a given IPM. Using this characterization, we obtain new bounds while also recovering in a unified manner well-known results, such as Hoeffding's lemma, Pinsker's inequality and its extension to subgaussian functions, and the Hammersley-Chapman-Robbins bound. The variational representation also allows us to prove new results on topological properties of the divergence which may be of independent interest.

研究动机与目标

• 通过凸对偶系统分析f-散度与积分概率度量（IPMs）之间的关系。
• 推导f-散度的紧致变分表征，从而实现基于IPMs的最优下界表征。
• 在单一框架内统一并推广经典结果，如Hoeffding引理、Pinsker不等式和Hammersley-Chapman-Robbins界。
• 建立f-散度的新拓扑性质，这些性质具有独立的理论意义。

提出的方法

• 利用凸对偶推导f-散度的紧致变分表征，从而精确分析其与IPMs的关系。
• 引入一个广义矩生成函数，精确刻画给定IPM下f-散度的最佳下界。
• 利用变分表征恢复并扩展已知不等式，包括Pinsker不等式的子高斯推广。
• 将该框架应用于证明f-散度的新拓扑性质，如在IPM收敛下的连续性和收敛行为。
• 建立基于对偶的表征方法，实现对不同函数类下f-散度与IPMs的系统比较。
• 利用广义矩生成函数统一并推广信息论与统计推断中的结果。

实验结果

研究问题

• RQ1 给定一个积分概率度量时，f-散度的最紧可能下界是什么？
• RQ2 如何利用凸对偶系统地关联f-散度与IPMs？
• RQ3 经典不等式（如Pinsker不等式和Hoeffding引理）能否在统一的变分框架内被恢复并扩展？
• RQ4 从这种基于对偶的表征中，f-散度的哪些拓扑性质浮现出来？
• RQ5 广义矩生成函数如何刻画f-散度与IPMs之间的关系？

主要发现

• 本文推导出一个广义矩生成函数，精确刻画了给定IPM下f-散度的最佳下界。
• 它在单一变分框架内恢复并统一了知名结果，如Hoeffding引理、Pinsker不等式和Hammersley-Chapman-Robbins界。
• 变分表征使得针对子高斯函数的新界得以推导，将经典Pinsker不等式推广至该设定。
• 该框架证明了f-散度的新拓扑性质，如在IPM收敛下的连续性和收敛性。
• 结果表明，所提出的广义矩生成函数对给定IPM下可实现的最小f-散度提供了精确且紧致的表征。
• 该方法为比较和界定f-散度与IPMs提供了系统性方法，对统计学习和信息论具有重要意义。