[论文解读] Practical and Consistent Estimation of f-Divergences
本文提出了一种在现代机器学习中常见的强结构假设下（如变分自编码器和生成模型）实用且一致的 f-散度估计器。通过利用已知先验和条件密度，该方法实现了比非参数估计器更快的收敛速率，且在高维设置中通过实证验证显示出更优的偏差与方差控制。
The estimation of an f-divergence between two probability distributions based on samples is a fundamental problem in statistics and machine learning. Most works study this problem under very weak assumptions, in which case it is provably hard. We consider the case of stronger structural assumptions that are commonly satisfied in modern machine learning, including representation learning and generative modelling with autoencoder architectures. Under these assumptions we propose and study an estimator that can be easily implemented, works well in high dimensions, and enjoys faster rates of convergence. We verify the behavior of our estimator empirically in both synthetic and real-data experiments, and discuss its direct implications for total correlation, entropy, and mutual information estimation.
研究动机与目标
- 解决标准非参数估计器在高维设置下受维度灾难影响的 f-散度估计挑战。
- 开发一种实用的估计器，利用现代机器学习中常见的结构假设，如自编码器架构中的已知先验和条件密度。
- 通过利用问题的结构，实现比现有无模型估计器更快的收敛速率。
- 提供一种既可实现又有效的估计方法，用于真实世界应用中的互信息、总相关性和熵估计。
提出的方法
- 该估计器基于重参数化技巧，允许使用已知的条件密度和已知先验从聚合后验分布中进行采样。
- 采用有限数量 M 个样本的蒙特卡洛近似来估计 f-散度，通过重要性采样降低方差。
- 该方法采用 RAM-MC（重参数化近似方法与蒙特卡洛结合）方法，将重参数化梯度与控制变量相结合以降低方差。
- 该估计器设计为一致估计器，并通过利用模型结构（特别是由于边际化导致后验不可计算的情况）实现更快的收敛速率。
- 通过合成数据和真实数据实验对方法进行验证，包括使用 FID 进行模型选择，以评估先验与后验分布之间的匹配质量。
实验结果
研究问题
- RQ1在现代深度生成模型中常见的强结构假设下，f-散度估计能否实现一致性和高效性？
- RQ2利用已知的条件密度和先验是否能带来比无模型非参数估计器更快的收敛速率？
- RQ3在高维设置下，该估计器在偏差、方差和计算效率方面与现有方法相比表现如何？
- RQ4该估计器能否在真实世界生成模型中有效应用于互信息、总相关性和熵的估计？
主要发现
- 所提出的 RAM-MC 估计器收敛速率快于非参数估计器，后者受维度灾难影响，收敛速率为 N^(-1/d)。
- 实证结果表明，增加蒙特卡洛样本数 M 可降低方差，M=1000 在所有情况下均优于 M=10，这归因于对数变换的凹性。
- 随着样本量 N 增加，偏差持续减小，这在平方 Hellinger 距离实验中表现为 log(2 - D_H2) 值的上升。
- 该方法在高维自编码器模型中成功估计了 f-散度，在不同架构（ResNet、DCGAN）和潜在维度（32、64、128）下均表现出一致性能。
- 在 χ²-散度估计中观察到数值不稳定性，这是由于 KL 值过大超出双精度浮点数范围所致，凸显了所提方法在其他 f-散度上的稳健性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。