[论文解读] Normalized Mutual Information to evaluate overlapping community finding algorithms

Aaron F. McDaid, Derek Greene+1 more|arXiv (Cornell University)|Oct 11, 2011

Complex Network Analysis Techniques参考文献 3被引用 229

一句话总结

本文识别并修正了广泛使用的重叠社区检测中标准化互信息（NMI）度量的非直观行为，提出采用 max(H(X), H(Y)) 替代原始的 LFK 标准化方式，实现更常规的归一化。修正后的度量 NMI_max 展现出更直观的行为——当覆盖结果不相似时趋近于 0，完全相同时趋近于 1，尤其在簇数量不平衡的情况下表现更优，该结论通过在合成网络上的受控实验得到验证。

ABSTRACT

Given the increasing popularity of algorithms for overlapping clustering, in particular in social network analysis, quantitative measures are needed to measure the accuracy of a method. Given a set of true clusters, and the set of clusters found by an algorithm, these sets of clusters must be compared to see how similar or different the sets are. A normalized measure is desirable in many contexts, for example assigning a value of 0 where the two sets are totally dissimilar, and 1 where they are identical. A measure based on normalized mutual information, [1], has recently become popular. We demonstrate unintuitive behaviour of this measure, and show how this can be corrected by using a more conventional normalization. We compare the results to that of other measures, such as the Omega index [2].

研究动机与目标

• 识别并解决用于评估重叠社区检测算法的 LFK 标准化互信息（NMI_LFK）度量中存在的非直观行为。
• 提出基于 max(H(X), H(Y)) 的更常规标准化策略，以提升相似度评分的可解释性与一致性。
• 证明 NMI_LFK 在某些情况下会产生反直觉结果——例如当一个覆盖是另一个的子集或与全集比较时，得分仍高于 0.5——从而削弱其在算法评估中的可靠性。
• 通过在具有已知真实社区的合成网络上进行受控实验，验证所提出的 NMI_max 度量的改进行为。

提出的方法

• 本文基于簇成员矩阵推导出的熵与条件熵项，定义了基于互信息的两个簇覆盖 X 和 Y 之间的相似度度量。
• 引入一种改进的条件熵 H*(X_i|Y_j)，当簇向量接近互补时强制互信息为零，从而防止产生虚假的高信息得分。
• 该方法将 H(X|Y) 计算为：对 X 中每个簇 i，取 Y 中所有簇 j 的 H*(X_i|Y_j) 的最小值之和；类似地计算 H(Y|X)。
• 互信息 I(X:Y) 通过两种表达式的平均值计算：[H(X) - H(X|Y) + H(Y) - H(Y|X)] / 2，以确保一致性。
• 所提出的归一化方式将原始的 LFK 分母替换为 max(H(X), H(Y))，得到 NMI_max = I(X:Y) / max(H(X), H(Y))。
• 该方法使用 C++ 实现，并在包含 200 个节点和 20 个非重叠社区的合成网络上进行了评估。

实验结果

研究问题

• RQ1 为何当比较一个较小的覆盖与一个较大的覆盖时，即使较小的覆盖是较大的覆盖的子集，LFK 标准化互信息（NMI_LFK）仍会产生略高于 0.5 的得分？
• RQ2 NMI_LFK 中非直观行为的根本原因是什么，特别是在单个簇与全部簇集合或所有子集的幂集进行比较时？
• RQ3 与 NMI_LFK 相比，基于 max(H(X), H(Y)) 归一化的所提出 NMI_max 度量在可解释性与一致性方面有何改进？
• RQ4 当预测覆盖中的簇数量从 1 增加到全部 20 个真实社区时，所提出的 NMI_max 是否表现出更直观的行为？

主要发现

• 当将单个簇与包含 20 个非重叠社区的完整覆盖进行比较时，NMI_LFK 产生略高于 0.5 的得分，尽管预测覆盖是真实情况的完美子集。
• 在幂集场景中——其中一个覆盖包含 n 个节点的所有 2^n - 1 个非空子集——NMI_LFK 仍略高于 0.5，尽管此时相似度应极低。
• 所提出的 NMI_max 度量在预测覆盖较小时正确地将得分趋近于 0，随着预测覆盖中簇的数量增加并匹配真实情况，得分趋近于 1。
• 在合成实验中，随着正确识别的社区数量从 1 增加到 20，NMI_max 度量表现出从 0 到 1 的线性、直观的上升趋势。
• NMI_LFK 的非直观行为源于：当一个覆盖显著比另一个更复杂（即簇更多）时，其归一化分母发生偏移，导致得分下限为 0.5。
• 本研究证实，采用 max(H(X), H(Y)) 的传统归一化方式，可产生更具可解释性且行为一致的度量，适用于评估重叠社区检测算法。