[论文解读] The Representation Jensen-Shannon Divergence

Jhoan K. Hoyos-Osorio, Luis G. Sanchez-Giraldo|arXiv (Cornell University)|May 25, 2023

Statistical Mechanics and Entropy被引用 4

一句话总结

本文提出表示 Jensen-Shannon 散度（RJSD），一种新颖的基于核的散度，通过使用非中心化协方差算子将数据嵌入再生核希尔伯特空间（RKHS）来避免密度估计。该方法通过傅里叶特征或核矩阵实现可扩展、可微分且支持小批量的估计，实现了两样本检验的最先进性能，并在生成建模中通过理论保证缓解了模式崩溃问题，作为经典 JSD 的下界。

ABSTRACT

Quantifying the difference between probability distributions is crucial in machine learning. However, estimating statistical divergences from empirical samples is challenging due to unknown underlying distributions. This work proposes the representation Jensen-Shannon divergence (RJSD), a novel measure inspired by the traditional Jensen-Shannon divergence. Our approach embeds data into a reproducing kernel Hilbert space (RKHS), representing distributions through uncentered covariance operators. We then compute the Jensen-Shannon divergence between these operators, thereby establishing a proper divergence measure between probability distributions in the input space. We provide estimators based on kernel matrices and empirical covariance matrices using Fourier features. Theoretical analysis reveals that RJSD is a lower bound on the Jensen-Shannon divergence, enabling variational estimation. Additionally, we show that RJSD is a higher-order extension of the maximum mean discrepancy (MMD), providing a more sensitive measure of distributional differences. Our experimental results demonstrate RJSD's superiority in two-sample testing, distribution shift detection, and unsupervised domain adaptation, outperforming state-of-the-art techniques. RJSD's versatility and effectiveness make it a promising tool for machine learning research and applications.

研究动机与目标

• 解决从经验样本估计统计散度而不进行密度估计的挑战。
• 开发一种利用 RKHS 中二阶矩的散度，以提升鲁棒性和理论基础。
• 提供一种适用于深度学习优化的可扩展、可微分且支持小批量的估计器。
• 建立 RJSD 作为经典 Jensen-Shannon 散度的下界，从而实现具有统计保证的变分估计。
• 在两样本检验和生成建模中的模式崩溃缓解方面展示卓越性能。

提出的方法

• 通过使用非中心化协方差算子将概率分布嵌入 RKHS，提出表示 Jensen-Shannon 散度（RJSD）。
• 采用显式的傅里叶特征映射，从样本协方差矩阵构建经验估计器，实现可微分性和可扩展性。
• 提供一种无需显式特征映射的基于核矩阵的估计器，保持理论一致性。
• 在温和正则性条件下，推导出所提估计器的一致性和样本复杂度边界。
• 利用基于核的熵与香农熵之间的联系，将 RJSD 与经典信息论量联系起来。
• 使用 Adam 优化 RJSD，联合学习傅里叶特征、核带宽和网络参数，实现端到端训练。

Figure 1: Jensen-Shannon Divergence estimation for two set of samples following Cauchy distributions (N = 512). We compare the following estimators: NWJ (Nguyen et al., 2010 ) , infoNCE (Oord et al., 2018 ) , CLUB (Cheng et al., 2020 ) , MINE (Belghazi et al., 2018 ) , KNIFE (Pichler et al., 2022 )

实验结果

研究问题

• RQ1 能否在 RKHS 中利用二阶矩构造一种避免直接密度估计的散度？
• RQ2 所提出的 RJSD 估计器在经验采样下是否具有一致性和样本效率？
• RQ3 RJSD 能否作为经典 Jensen-Shannon 散度的下界，从而实现具有保证的变分估计？
• RQ4 RJSD 在多种数据分布下的两样本检验中是否优于最先进方法？
• RQ5 RJSD 是否能有效防止模式崩溃并提升生成对抗网络中的样本多样性？

主要发现

• RJSD 在多个数据集（包括 MNIST、Higgs 和 HDGM）的两样本检验中实现了最先进性能，统计功效高于 MMD、C2ST 及其他基线方法。
• 基于 RJSD 的 GAN 训练能有效缓解模式崩溃，生成更多样化、高质量的样本，优于基线 GAN。
• RJSD 估计器是经典 Jensen-Shannon 散度的下界，从而支持具有理论一致保证的变分估计器。
• 基于傅里叶特征的估计器展现出强大的可扩展性与小批量优化兼容性，适用于深度生成模型的高效训练。
• 实证结果表明，使用 D << N 的傅里叶特征通常比高维特征空间表现更优，这与典型核理论预期相反。
• 该方法在不同数据尺度下保持鲁棒性，尽管核矩阵的秩不一致性需要仔细调整超参数或使用显式特征映射。

Figure 3: Generated samples using rep JSD.