[论文解读] Telescoping Density-Ratio Estimation

Benjamin Rhodes, Kai Xu+1 more|arXiv (Cornell University)|Jun 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 79被引用 6

一句话总结

本文提出了一种新型框架——自展密度比估计（TRE），通过将高度不相似密度之间的比值分解为一系列中间比值，克服了密度比估计中的“密度鸿沟问题”。通过分类方法估计这些链式比值，并利用自展乘积组合，TRE 实现了 KL 散度超过 20 nats 的比值的精确估计，显著提升了在互信息估计、表示学习和基于能量的建模任务中的性能，相比单比值方法表现更优。

ABSTRACT

Density-ratio estimation via classification is a cornerstone of unsupervised learning. It has provided the foundation for state-of-the-art methods in representation learning and generative modelling, with the number of use-cases continuing to proliferate. However, it suffers from a critical limitation: it fails to accurately estimate ratios p/q for which the two densities differ significantly. Empirically, we find this occurs whenever the KL divergence between p and q exceeds tens of nats. To resolve this limitation, we introduce a new framework, telescoping density-ratio estimation (TRE), that enables the estimation of ratios between highly dissimilar densities in high-dimensional spaces. Our experiments demonstrate that TRE can yield substantial improvements over existing single-ratio methods for mutual information estimation, representation learning and energy-based modelling.

研究动机与目标

• 解决现有密度比估计方法的关键局限性，即当源密度与目标密度之间的 KL 散度超过约 20 nats 时即失效。
• 克服‘密度鸿沟问题’，即当密度高度不相似时，分类器虽准确但比值估计性能差。
• 实现在 KL 散度可达数百 nats 的高维空间中，对密度比值的精确估计。
• 提升在互信息估计、表示学习和基于能量的建模等关键应用中的性能。
• 开发一种可扩展的分而治之框架，利用中间分布稳定并增强比值估计。

提出的方法

• 通过在源密度 $p$ 和目标密度 $q$ 的样本之间进行确定性插值，构建一系列中间分布。
• 利用分类器估计每对连续中间分布之间的密度比值，利用这些比值更易于准确估计的特性。
• 通过自展乘积组合估计的中间比值，以恢复原始比值 $p/q$。
• 使用在有限样本上训练的神经网络分类器估计每个链式比值，损失函数基于逻辑回归，以实现最优比值恢复。
• 在 $\mathbf{x}$-空间和 $\mathbf{z}$-空间（通过归一化流）中应用该方法，以提高 MCMC 采样效率和似然估计性能。
• 采用路标法（waymarking）技术，结合网格搜索的间距设置，以稳定训练并防止中间比值估计中逻辑损失的饱和。

实验结果

研究问题

• RQ1 能否使密度比估计对源密度与目标密度之间较大的 KL 散度具有鲁棒性？
• RQ2 在高维设置下，使用中间分布的分而治之策略是否能提高密度比估计的准确性？
• RQ3 自展比值估计能否实现对超过 30 nats 的互信息的精确估计？
• RQ4 TRE 与单比值基线方法相比，在表示学习和基于能量的建模任务中的表现如何？
• RQ5 通过归一化流在 $\mathbf{z}$-空间中采样对 TRE 的稳定性和性能有何影响？

主要发现

• 当 $p$ 与 $q$ 之间的 KL 散度超过 20 nats 时，TRE 仍能实现接近最优的密度比估计，而标准方法在此情况下失效。
• 在互信息估计中，TRE 能够准确估计超过 30 nats 的值，显著优于现有方法。
• 在表示学习中，TRE 在多个下游任务中均优于单比值基线，表现出更优的特征质量。
• 在基于能量的建模中，TRE 实现了高效的似然估计和样本生成，且基于 RAISE 的对数似然估计在合理路标设置下表现更优。
• 在 $\mathbf{z}$-空间（通过归一化流）中采样相比 $\mathbf{x}$-空间，能带来更稳定的训练和更低的逻辑损失饱和度。
• 该方法仅需对原始数据施加微小扰动（如 $\alpha_0 = 0.01$）即可缓解第一比值估计器的过拟合问题，尤其在 MNIST 等离散数据集上效果显著。