[论文解读] Normalized mutual information is a biased measure for classification and community detection

Maximilian Jerdee, Alec Kirkley+1 more|arXiv (Cornell University)|Jul 3, 2023

Complex Network Analysis Techniques被引用 5

一句话总结

本文识别出在评估聚类和社区检测时，标准化互信息（NMI）存在的两个关键偏差：（1）忽略列联表的信息内容；（2）对称归一化引入了对算法输出的虚假依赖。作者提出一种非对称、简化后的互信息度量，仅以真实标签的熵进行归一化，从而消除这两种偏差，并确保完美匹配的得分恰好为1。在LFR基准网络上的数值测试表明，使用新度量后，算法排名发生显著变化，此前被标准NMI偏爱的过度分割算法现得到正确惩罚。

ABSTRACT

Normalized mutual information is widely used as a similarity measure for evaluating the performance of clustering and classification algorithms. In this paper, we argue that results returned by the normalized mutual information are biased for two reasons: first, because they ignore the information content of the contingency table and, second, because their symmetric normalization introduces spurious dependence on algorithm output. We introduce a modified version of the mutual information that remedies both of these shortcomings. As a practical demonstration of the importance of using an unbiased measure, we perform extensive numerical tests on a basket of popular algorithms for network community detection and show that one's conclusions about which algorithm is best are significantly affected by the biases in the traditional mutual information.

研究动机与目标

• 识别并分析在用于评估聚类和社区检测算法时，标准标准化互信息（NMI）所存在的两个基本偏差。
• 证明NMI中的对称归一化会引入对候选标签分配的虚假依赖，从而扭曲性能排名。
• 表明忽略列联表的信息内容会导致相似性估计被高估，尤其是在过度分割的解决方案中。
• 提出一种新的非对称、简化互信息度量，仅以真实标签熵进行归一化，该度量无偏差且确保完美匹配的得分恰好为1。
• 通过在LFR基准网络上进行的大规模数值实验验证新度量，表明社区检测算法的排名对相似性度量的选择极为敏感。

提出的方法

• 提出一种改进的互信息度量，基于列联表结构引入修正项，以纠正对过度分割解的偏差。
• 通过仅将互信息除以真实标签的熵，引入非对称归一化，从而消除对称归一化的偏差。
• 将新度量定义为简化互信息除以真实标签的熵，确保其上界为1，且在完美匹配时恰好达到1。
• 使用狄利克雷-多项式分布模型估计在随机标签分配下列联表的期望形式，从而实现互信息中的修正项。
• 在基于LFR基准的合成网络（具有已知社区结构）上，实现大规模评估框架，应用新度量。
• 在一系列流行的社区检测算法上，对比多种NMI变体——包括对称归一化、最小值归一化和几何归一化NMI。

实验结果

研究问题

• RQ1 标准化互信息中的对称归一化是否会在聚类算法评估中引入系统性偏差？
• RQ2 忽略列联表的信息内容在多大程度上会导致聚类评估中产生误导性的相似性得分？
• RQ3 一种经过修改的、非对称归一化的互信息度量是否能够消除标准NMI中已知的两种偏差，同时保持可解释性？
• RQ4 当使用所提出的无偏度量而非传统NMI变体时，社区检测算法的排名如何变化？
• RQ5 所提出的度量是否是唯一一种确保完美匹配得分为1的无偏归一化方式？

主要发现

• 标准对称归一化互信息存在偏差，因为其归一化因子依赖于候选标签分配，而不仅依赖于真实标签，从而导致虚假的性能排名。
• 所提出的非对称、简化互信息度量是唯一能确保完美匹配得分为精确1的归一化方式，且对候选标签分配无偏。
• 在LFR基准网络上的数值实验表明，产生比真实社区数更多的社区的算法，会被传统NMI错误地偏爱，但新度量能正确地对其进行惩罚。
• 新度量在排名准确性方面优于对称NMI变体，表现为在多个网络参数下，算法性能排序的一致性重排。
• 新度量的上界恰好为1，且仅当候选标签与真实标签在标签置换意义下完全相同时才能达到，该结论已在所有测试案例（n≤200）中通过数值证明。
• 在单节点误标情形下，通过解析证明了真实标签作为简化互信息局部最大值的稳定性，表明该度量对小扰动具有鲁棒性。