[论文解读] Mutual information is copula entropy

Jian Ma, Zengqi Sun|ArXiv.org|Aug 6, 2008

Cognitive Science and Education Research参考文献 1被引用 8

一句话总结

本文证明了互信息（MI）等价于负的对 copula 熵，建立了信息论与对 copula 理论之间的基本联系。通过首先将数据转换为经验对 copula 均匀分布，然后使用既有的熵估计器估计对 copula 熵，提出了一种新颖的 MI 估计方法，在高斯数据上表现出色。

ABSTRACT

We prove that mutual information is actually negative copula entropy, based on which a method for mutual information estimation is proposed.

研究动机与目标

• 建立互信息与对 copula 熵之间理论等价性的目标。
• 通过证明 MI 是一种熵的形式，弥合信息论与对 copula 理论之间的鸿沟。
• 开发一种基于对 copula 的熵估计来估计互信息的实用方法。
• 评估所提出方法与现有 MI 估计技术的性能对比。

提出的方法

• 通过 Ska 1ar 定理和对 copula 密度表示，理论证明了互信息 I(X) 等于负的对 copula 熵 -Hc(X)。
• 通过使用经验累积分布函数（CDF）对原始数据进行变换，生成经验对 copula 样本。
• 从经验对 copula 样本中估计对 copula 密度，形成单位超立方体中的均匀变换数据集。
• 使用成熟的熵估计器（如 Kraskov 等人，2004 年提出的 k-最近邻（kNN）方法）估计对 copula 熵 Hc。
• 然后通过估计的对 copula 熵的相反数获得互信息：I(X) = -Hc(X)。
• 该方法利用现有的熵估计技术，使其具有模块化特性，并可适配多种熵估计器。

实验结果

研究问题

• RQ1 互信息在数学上是否等价于由对 copula 衍生出的特定形式的熵？
• RQ2 对 copula 熵估计能否作为互信息估计的可靠替代方法？
• RQ3 基于对 copula 的 MI 估计性能与 kNN 估计等成熟方法相比如何？
• RQ4 联合熵、边缘熵与对 copula 熵之间的理论关系是什么？

主要发现

• 本文建立了严格的数学等价关系：互信息 I(X) 恰好等于负的对 copula 熵 -Hc(X)。
• 联合熵 H(X)、边缘熵 H(xi) 与对 copula 熵之间的关系被揭示为 H(X) = ΣH(xi) + Hc(X)。
• 所提出的方法在二元高斯数据上实现了具有竞争力的估计精度，结果与解析解高度吻合。
• 在 1000 个样本的二元高斯数据集中，当相关系数 ρ 从 0 到 0.9 变化时，基于对 copula 熵的方法在所有 ρ 水平上均与解析互信息值保持一致。
• 实验对比表明，该方法的性能优于或至少不逊于 Kraskov 等人（2004 年）提出的 kNN 基 MI 估计器。