[论文解读] Valued Ties Tell Fewer Lies: Why Not To Dichotomize Network Edges With Thresholds

Andrew C. Thomas, Joseph K. Blitzstein|arXiv (Cornell University)|Jan 4, 2011

Crime, Illicit Activities, and Governance参考文献 15被引用 30

一句话总结

本文反对通过阈值对加权网络边进行二值化处理，表明此类做法会导致网络分析中出现显著的信息损失和效率下降。研究显示，阈值化会扭曲网络拓扑结构，降低统计效能——尤其在大规模网络中更为明显——并损害推断的有效性，因此主张直接分析加权数据以保持结构与统计完整性。

ABSTRACT

In order to conduct analyses of networked systems where connections between individuals take on a range of values - counts, continuous strengths or ordinal rankings - a common technique is to dichotomize the data according to their positions with respect to a threshold value. However, there are two issues to consider: how the results of the analysis depend on the choice of threshold, and what role the presence of noise has on a system with respect to a fixed threshold value. We show that while there are principled criteria of keeping information from the valued graph in the dichotomized version, they produce such a wide range of binary graphs that only a fraction of the relevant information will be kept. Additionally, while dichotomization of predictors in linear models has a known asymptotic efficiency loss, the same process applied to network edges in a time series model will lead to an efficiency loss that grows larger as the network increases in size.

研究动机与目标

• 调查在网络分析中使用阈值对加权网络边进行二值化处理的后果。
• 评估阈值选择如何影响网络结构推断的准确性和可靠性。
• 量化在时间序列和线性模型中，将加权边转换为二值形式所导致的统计效率损失。
• 评估二值化常见理由的有效性，如降噪、可视化和模型简化。
• 提出替代阈值化的方法，以更好地保持加权网络的结构与统计特性。

提出的方法

• 作者通过模拟研究，比较在不同阈值下原始加权图与其二值化版本之间的网络属性（如连通分量结构、中心性与直径）差异。
• 分析在预测变量被二值化时，线性模型中渐近效率的损失，表明该损失随网络规模增大而增加。
• 利用信息保留的合理标准评估阈值化，结果表明这些标准产生高度多变的二值图，说明信息保留效果差。
• 提出一种基于模拟退火的优化方法，通过最小化等级或数值差异，寻找最能匹配原始加权网络结构特征的二值图。
• 探索“婚礼蛋糕”可视化方法，通过使用一致的节点布局分层叠加多个阈值化图，以保持各层次的空间解释一致性。
• 将阈值化与替代边选择方法（如仅保留出度最高的k条边）进行比较，结果表明后者在保持网络特征方面表现更差。

实验结果

研究问题

• RQ1 与原始加权网络相比，阈值选择如何影响二值化网络的拓扑结构？
• RQ2 在大规模网络中，二值化加权边在多大程度上导致网络模型中统计效率的损失？
• RQ3 基于合理标准的信息保留能否产生稳定可靠的二值化网络，还是会导致高度多变的结果？
• RQ4 二值化是否有效降低噪声，还是反而扭曲了网络中的有意义结构模式？
• RQ5 是否存在比阈值化更优的替代方法，能更好地保持加权网络的结构与统计特性？

主要发现

• 二值化导致网络拓扑结构出现显著且非线性的扭曲，例如在某些情况下，一个节点的中心性会因阈值选择不同而从中心变为边缘位置。
• 在线性模型中，将预测变量二值化所导致的效率损失极为严重——模拟结果显示损失可达100倍或更多——除非存在真实的阈值效应，否则该做法极低效。
• 即使使用合理标准选择阈值，所得二值图仍存在极大差异，表明原始网络中仅有一小部分信息得以保留。
• “婚礼蛋糕”可视化方法通过固定节点位置分层叠加多个阈值化图，为在不同关系强度层次上可视化网络结构提供了可行替代方案。
• 替代方法如仅保留出度最高的k条边，在保持已知网络特征和系数估计方面，表现劣于标准阈值化方法。
• 研究结论认为，除非存在强有力的理论或实证依据支持阈值效应，否则二值化通常缺乏正当性，因为它常导致误导性推断与信息损失。