[论文解读] Sliced Mutual Information: A Scalable Measure of Statistical Dependence

Ziv Goldfeld, Kristjan Greenewald|arXiv (Cornell University)|Oct 11, 2021

Neural Networks and Applications参考文献 34被引用 9

一句话总结

本文提出切片互信息（SMI），一种传统互信息的可扩展替代方法，通过高维变量的一维随机投影平均互信息来实现。SMI 保留了经典互信息的关键特性，同时实现高效估计，并允许通过确定性变换增强依赖关系，因此特别适用于高维场景下的特征提取与表征学习。

ABSTRACT

Mutual information (MI) is a fundamental measure of statistical dependence, with a myriad of applications to information theory, statistics, and machine learning. While it possesses many desirable structural properties, the estimation of high-dimensional MI from samples suffers from the curse of dimensionality. Motivated by statistical scalability to high dimensions, this paper proposes sliced MI (SMI) as a surrogate measure of dependence. SMI is defined as an average of MI terms between one-dimensional random projections. We show that it preserves many of the structural properties of classic MI, while gaining scalable computation and efficient estimation from samples. Furthermore, and in contrast to classic MI, SMI can grow as a result of deterministic transformations. This enables leveraging SMI for feature extraction by optimizing it over processing functions of raw data to identify useful representations thereof. Our theory is supported by numerical studies of independence testing and feature extraction, which demonstrate the potential gains SMI offers over classic MI for high-dimensional inference.

研究动机与目标

• 为解决从高维样本中估计互信息（MI）时的维度灾难问题。
• 开发一种可扩展的统计依赖替代度量，保持经典MI的理想结构特性。
• 实现在高维数据中依赖关系的高效估计与优化，尤其适用于表征学习。
• 证明SMI可在确定性变换下增加，而经典MI不能，从而使其可用于特征提取。

提出的方法

• SMI 定义为对高维空间中随机变量 X 和 Y 的一维投影之间互信息的平均值，使用高维球面上的随机单位向量。
• 该方法利用单位球面上的蒙特卡洛采样来近似 SMI 中的积分，从而实现从有限样本的实证估计。
• 提出一种变分估计器 S-MINE，利用神经网络近似 SMI 的对偶形式来估计 SMI。
• 该方法允许对数据的线性或非线性变换进行端到端优化，以最大化 SMI，从而促进特征提取。
• 理论分析表明，估计误差的量级为 m^{-1/2} + n^{-1/2}（对数因子以内），在高维情况下实现了接近参数化的收敛速率。
• 通过在合成数据和 MNIST 数据集上的独立性检验与特征提取任务验证了该方法，结果表明其性能显著优于经典 MI。

实验结果

研究问题

• RQ1 能否构建一种互信息的替代度量，使其在高维设置下仍保持统计效率？
• RQ2 SMI 是否保留了经典 MI 的关键结构特性，如在统计独立时归零以及变分表示形式？
• RQ3 SMI 是否可在确定性变换下增加（而经典 MI 不能）？若可，如何将其用于特征提取？
• RQ4 使用蒙特卡洛采样和神经网络估计器时，SMI 估计的统计收敛速率如何？
• RQ5 在独立性检验和表征学习等实际任务中，SMI 的表现相较于经典 MI 如何？

主要发现

• SMI 实现了统计估计误差量级为 m^{-1/2} + n^{-1/2}（对数因子以内），在高维情况下实现了接近参数化的收敛速度。
• SMI 可在确定性变换（如线性投影）下增加，使其可作为特征提取的目标函数。
• 在高斯数据集中，S-MINE 成功恢复了真实底层方向（e1）作为最优投影，与理论预期一致。
• 在 MNIST 0-1 类别设置中，SMI 优化获得了 0.680 bits 的估计 SMI，显著高于随机投影获得的 0.0752 bits。
• 当 X 和 Y 独立（无类别共享）时，估计的 SMI 降至 0.0289，证实该方法能有效检测真实依赖关系。
• 学习到的变换矩阵的热图清晰对应数字 '0' 的形状，表明 SMI 优化成功提取了与类别相关的关键特征。