[论文解读] The Generalized Mean Information Coefficient

Alexander R. Luedtke, Linh Tran|arXiv (Cornell University)|Aug 26, 2013

Advanced Statistical Methods and Models参考文献 6被引用 3

一句话总结

本文提出了广义均值信息系数（GMIC），作为最大信息系数（MIC）的可调扩展，通过调节广义均值参数，在有限样本中提升统计功效。GMIC保持了MIC的渐近性质，同时在多种函数关系下展现出优于MIC的统计功效，尤其在中等调参值如 p = -1 时表现更优，尽管距离相关性整体上仍更具优势。

ABSTRACT

Reshef & Reshef recently published a paper in which they present a method called the Maximal Information Coefficient (MIC) that can detect all forms of statistical dependence between pairs of variables as sample size goes to infinity. While this method has been praised by some, it has also been criticized for its lack of power in finite samples. We seek to modify MIC so that it has higher power in detecting associations for limited sample sizes. Here we present the Generalized Mean Information Coefficient (GMIC), a generalization of MIC which incorporates a tuning parameter that can be used to modify the complexity of the association favored by the measure. We define GMIC and prove it maintains several key asymptotic properties of MIC. Its increased power over MIC is demonstrated using a simulation of eight different functional relationships at sixty different noise levels. The results are compared to the Pearson correlation, distance correlation, and MIC. Simulation results suggest that while generally GMIC has slightly lower power than the distance correlation measure, it achieves higher power than MIC for many forms of underlying association. For some functional relationships, GMIC surpasses all other statistics calculated. Preliminary results suggest choosing a moderate value of the tuning parameter for GMIC will yield a test that is robust across underlying relationships. GMIC is a promising new method that mitigates the power issues suffered by MIC, at the possible expense of equitability. Nonetheless, distance correlation was in our simulations more powerful for many forms of underlying relationships. At a minimum, this work motivates further consideration of maximal information-based nonparametric exploration (MINE) methods as statistical tests of independence.

研究动机与目标

• 为解决MIC在有限样本中统计功效较低的问题，特别是针对常见函数关系。
• 开发MIC的一种推广形式，使关联复杂度的偏好可被控制调整。
• 证明新度量GMIC保留了MIC的关键渐近性质，如检测依赖关系的一致性。
• 通过模拟评估GMIC在八种函数关系及不同噪声水平下的表现。
• 在现实有限样本场景下，将GMIC的统计功效与MIC、皮尔逊相关系数和距离相关性进行比较。

提出的方法

• GMIC被定义为MIC特征矩阵元素的广义均值，使用调参p控制所强调的关联类型。
• 广义均值应用于所有网格划分下的最大互信息估计值，其中p = -1对应调和平均。
• 该方法保持了MIC基于秩的不变性以及在依赖关系下的渐近一致性，确保随着样本量增加可检测到所有形式的关联。
• 采用动态规划算法高效近似计算特征矩阵，使大规模数据集上的计算成为可能。
• 调参p使从业者可在公平性（偏好p=0，几何均值）与提升功效（偏好p=-1，调和均值）之间进行权衡。
• 模拟比较了GMIC在60种噪声水平下对八种函数关系的统计功效，与MIC、皮尔逊相关系数和距离相关性的表现。

实验结果

研究问题

• RQ1 MIC的广义均值公式是否能在不牺牲其检测多样化关联能力的前提下，提升有限样本中的统计功效？
• RQ2 GMIC是否保持了与MIC相同的渐近性质，如检测依赖关系的一致性？
• RQ3 是否存在某个特定的调参p值，可在广泛函数关系下实现稳健的统计功效？
• RQ4 GMIC的统计功效在不同类型的关联和噪声水平下，与MIC、皮尔逊相关系数和距离相关性相比如何？
• RQ5 GMIC中公平性与功效之间的权衡在多大程度上影响其在真实世界数据分析中的可解释性与实用性？

主要发现

• 在测试的八种函数关系中，p = -1的GMIC在大多数情况下统计功效高于MIC，尤其在非单调和非线性关联中表现更优。
• 对于高频正弦波和圆周关系，p = -1的GMIC表现劣于MIC，但仍优于皮尔逊相关系数和MinIC。
• 距离相关性在所有关系中（高频正弦波除外）始终优于其他所有方法，包括p = -1的GMIC，表现出最高的统计功效。
• 在大多数关系中，p = -1的GMIC样本均值在零噪声下接近于MIC，仅高频正弦波和圆周关系例外，表明其对强关联的敏感性得以保持。
• p = -1的GMIC在多种函数形式下表现出稳健的统计功效，表明其在小样本实际场景中是MIC的可靠替代方案。
• 研究建议p = -1是GMIC的有前景默认选择，因其在多样化关系间平衡了统计功效，并避免了非负p值下出现的显著功效下降。