[论文解读] Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization

Qing Guo, Junya Chen+7 more|arXiv (Cornell University)|Jul 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 62被引用 10

一句话总结

本文提出FLO（Fenchel-Legendre优化），一种新颖的对比变分互信息估计器，通过非归一化统计建模统一了现有界限。FLO在随机梯度下降下实现了更紧的互信息估计，具备更高的数据效率和收敛性，相较于InfoNCE等先前方法，在稳定性与样本效率方面均表现出色，涵盖元学习应用在内的各类基准测试中表现更优。

ABSTRACT

Successful applications of InfoNCE and its variants have popularized the use of contrastive variational mutual information (MI) estimators in machine learning. While featuring superior stability, these estimators crucially depend on costly large-batch training, and they sacrifice bound tightness for variance reduction. To overcome these limitations, we revisit the mathematics of popular variational MI bounds from the lens of unnormalized statistical modeling and convex optimization. Our investigation not only yields a new unified theoretical framework encompassing popular variational MI bounds but also leads to a novel, simple, and powerful contrastive MI estimator named as FLO. Theoretically, we show that the FLO estimator is tight, and it provably converges under stochastic gradient descent. Empirically, our FLO estimator overcomes the limitations of its predecessors and learns more efficiently. The utility of FLO is verified using an extensive set of benchmarks, which also reveals the trade-offs in practical MI estimation.

研究动机与目标

• 为解决如InfoNCE等对比互信息估计器在依赖大批次训练时所面临的方差减少与界限紧致性之间的权衡问题。
• 基于非归一化统计建模与凸优化，建立统一的理论框架，整合现有变分互信息界限。
• 开发一种新的对比互信息估计器，其在紧致性与样本效率方面均优于现有方法。
• 为所提出的估计器在随机优化下的紧致性与收敛性提供理论保证。
• 在数据高效学习任务中，包括元学习中的新颖应用，展示该方法的实际效用。

提出的方法

• 该方法利用Fenchel-Legendre对偶性推导出一种新型变分界限，将互信息估计问题转化为凸优化任务。
• 其将互信息界限表述为一种对比目标，通过最小化正样本对的能量并最大化负样本对的能量来实现。
• 估计器通过一个判别网络构建，用于近似对数似然比，采用随机梯度下降进行优化。
• 该框架在统一的能量基公式下整合了DV、NWJ和InfoNCE等流行界限。
• 理论分析表明，FLO是一个紧致的下界，并且在标准随机优化条件下可实现收敛。
• 经验训练采用小批量采样，结合对比目标，避免了InfoNCE中对大K值的依赖。

实验结果

研究问题

• RQ1 能否基于非归一化统计建模，构建一个统一的理论框架，以连接现有的变分互信息界限？
• RQ2 能否设计一种对比互信息估计器，在避免大批次训练高计算成本的同时，仍保持界限的紧致性？
• RQ3 所提出的FLO估计器是否在收敛性与方差方面优于InfoNCE及其他对比估计器？
• RQ4 FLO能否在数据高效学习任务（如元学习）中有效应用？
• RQ5 FLO的理论紧致性是否在多样化基准上得到实证验证？

主要发现

• FLO在小批量训练下，相较于InfoNCE及其他对比估计器，实现了显著更紧的互信息估计，且方差更低、收敛性更优。
• FLO估计器在随机梯度下降下实现收敛，为其稳定性与实际可用性提供了理论依据。
• 实证基准测试表明，FLO在互信息估计精度与训练效率方面均优于现有方法，尤其在低数据场景下表现突出。
• 在元学习中，FLO通过优化泛化误差的正则化上界，实现了有效的泛化能力，性能优于MAML及其他基线方法。
• 该方法在正弦波回归与流行病学SDE建模任务中表现出强劲的实证性能，验证了其在多样化任务中的鲁棒性。
• 理论分析证实，FLO是对互信息的紧致下界，解决了先前对比估计器的关键局限性。