[论文解读] Understanding the Limitations of Variational Mutual Information Estimators

Jiaming Song, Stefano Ermon|arXiv (Cornell University)|Oct 14, 2019

Neural Networks and Applications参考文献 30被引用 87

一句话总结

该论文分析变分互信息估计器（如 MINE、NWJ、CPC）的方差和偏差问题，揭示自洽性失败，并提出方差降低估计器 SMILE，以及对密度比的统一优化视角。

ABSTRACT

Variational approaches based on neural networks are showing promise for estimating mutual information (MI) between high dimensional variables. However, they can be difficult to use in practice due to poorly understood bias/variance tradeoffs. We theoretically show that, under some conditions, estimators such as MINE exhibit variance that could grow exponentially with the true amount of underlying MI. We also empirically demonstrate that existing estimators fail to satisfy basic self-consistency properties of MI, such as data processing and additivity under independence. Based on a unified perspective of variational approaches, we develop a new estimator that focuses on variance reduction. Empirical results on standard benchmark tasks demonstrate that our proposed estimator exhibits improved bias-variance trade-offs on standard benchmark tasks.

研究动机与目标

• 在高维环境中为诸如表征学习和强化学习等任务推动可靠的互信息（MI）估计。
• 分析变分 MI 估计器（MINE、NWJ、CPC）的偏差/方差权衡，并识别基本局限性。
• 提出一种统一视角，将 MI 估计框定为密度比优化，并强调分区函数估计是导致高方差的来源。
• 引入一种用于 MI 估计的方差降低策略（SMILE）。
• 在基准数据集和自洽性测试上对估计器进行经验评估，以评估其实用可靠性。

提出的方法

• 将 MI 估计表述为相对于 Q（边际乘积）的有效密度比的受约束优化。
• 证明 KL 散度 D_KL(P||Q) 等于 r 属于密度比族 Delta(Q) 时 E_P[log r] 的上确界。
• 回顾判别型（MINE、NWJ、CPC）和生成型（BA、GM）MI 估计器，并解释它们如何适应密度比优化框架。
• 证明由于分区函数估计，NWJ/MINE 的方差可能随真实 MI 指数增长。
• 提出 SMILE：一个带剪切的（log-density）比估计器，导致方差降低，其 I_SMILE 定义为 E_P[T] - log E_Q[clip(e^T, e^{-tau}, e^{tau})].
• 讨论 SMILE 的偏差-方差权衡，并在剪切条件下分析理论性质（偏差界和方差界）。
• 提供自洽性测试（独立性、数据处理、可加性）以在高维数据上评估 MI 估计器。

实验结果

研究问题

• RQ1 当真实 MI 增大时，变分 MI 估计器在偏差和方差方面的表现如何？
• RQ2 常见的 MI 估计器在实践中是否满足 MI 的基本自洽性性质（数据处理、可加性、独立性）？
• RQ3 将 MI 估计统一视为密度比优化的观点，是否能解释方差问题并指导改进？
• RQ4 方差降低技术（SMILE）是否相对于现有估计器改善了偏差-方差权衡？
• RQ5 在高维数据（如图像）上的标准基准和自洽性测试中，不同估计器的表现如何？

主要发现

• 像 NWJ 和 MINE 这样的估计器方差可能随真实 MI 的真实值呈指数级增长，导致偏差-方差权衡变差。
• 许多变分 MI 估计器在对图像数据评估时，未通过诸如数据处理和独立性下的可加性等基本自洽性测试。
• 统一视角表明 MI 估计是对有效密度比的优化；高方差与分区函数估计相关。
• 提出的 SMILE 估计器通过对密度比进行剪切来降低方差，在基准任务上带来改进的偏差-方差权衡（tau 控制偏差-方差）。
• CPC 显示较低的方差但偏差较高；根据 tau，SMILE 在与 NWJ 相当的偏差下可以实现显著降低的方差。
• 生成式方法在低 MI 时表现差，而判别式方法在高 MI 时表现差，表明将这些估计器用作 MI 优化代理存在局限性。