[论文解读] Regularized Mutual Information Neural Estimation

Kwanghee Choi, Siyeong Lee|arXiv (Cornell University)|May 4, 2021

Machine Learning and ELM参考文献 28被引用 10

一句话总结

该论文提出了一种正则化的互信息神经估计方法，通过引入L2正则化和批量平均策略，解决了MINE中的不稳定性问题，显著提升了离散和连续设置下互信息估计的准确性和稳定性，相关结论通过理论分析和实证验证得到支持。

ABSTRACT

With the variational lower bound of mutual information (MI), the estimation of MI can be understood as an optimization task via stochastic gradient descent. In this work, we start by showing how Mutual Information Neural Estimator (MINE) searches for the optimal function T that maximizes the Donsker-Varadhan representation. With our synthetic dataset, we directly observe the neural network outputs during the optimization to investigate why MINE succeeds or fails: We discover the drifting phenomenon, where the constant term of T is shifting through the optimization process, and analyze the instability caused by the interaction between the logsumexp and the insufficient batch size. Next, through theoretical and experimental evidence, we propose a novel lower bound that effectively regularizes the neural network to alleviate the problems of MINE. We also introduce an averaging strategy that produces an unbiased estimate by utilizing multiple batches to mitigate the batch size limitation. Finally, we show that L2 regularization achieves significant improvements in both discrete and continuous settings.

研究动机与目标

• 识别并解决互信息神经估计器（MINE）中的不稳定性问题，特别是判别器网络T中常数项的漂移现象。
• 分析MINE中优化不稳定的根源，将其与logsumexp操作和小批量大小之间的相互作用联系起来。
• 提出一种新型正则化的互信息下界，以稳定训练过程并提升估计性能。
• 引入一种批量平均策略，即使在批量大小有限的情况下也能生成无偏估计。
• 通过实证验证L2正则化在多种离散和连续数据分布中的有效性。

提出的方法

• 提出一种新的正则化互信息下界，引入L2正则化以在优化过程中稳定判别器网络T。
• 引入一种批量平均技术，通过组合多个小批量的估计结果来降低方差并提高无偏性。
• 分析Donsker-Varadhan表示形式，并揭示MINE的优化过程如何受到logsumexp操作和批量大小的影响。
• 使用合成数据集可视化并诊断训练过程中T的常数项的漂移行为。
• 通过在离散和连续分布上实现并评估所提方法，验证其鲁棒性。
• 理论分析表明，正则化效应可提升收敛性并降低互信息估计的方差。

实验结果

研究问题

• RQ1 为何MINE在训练过程中表现出不稳定性，特别是在判别器网络T的常数项上？
• RQ2 logsumexp与小批量大小之间的相互作用如何导致MINE中的优化漂移？
• RQ3 正则化的下界能否提升神经估计器中互信息估计的稳定性和准确性？
• RQ4 即使批量大小有限，批量平均策略是否仍能产生无偏估计？
• RQ5 L2正则化在多大程度上提升了离散和连续分布下互信息估计的性能？

主要发现

• 直接观察到漂移现象——即T的常数项在训练过程中发生偏移——并将其与logsumexp操作和小批量大小联系起来。
• 所提出的正则化下界通过约束判别器网络有效缓解了不稳定性，从而得到更可靠的互信息估计。
• L2正则化在离散和连续设置下均显著提升了估计的准确性和稳定性，通过定量比较得到验证。
• 批量平均策略降低了方差并生成了无偏估计，克服了小批量大小带来的限制。
• 理论分析证实，正则化稳定了优化景观，降低了对超参数和批量大小的敏感性。
• 在合成数据上的实证结果验证了对不稳定性成因的诊断，并确认了所提改进方法的有效性。