[论文解读] On comparing clusterings: an element-centric framework unifies overlaps and hierarchy

Alexander J. Gates, Ian B. Wood+2 more|arXiv (Cornell University)|Jun 19, 2017

Complex Network Analysis Techniques被引用 7

一句话总结

本文提出了一种以元素为中心的框架，通过基于元素的聚类成员关系而非依赖于聚类中心的度量方法，统一比较不相交、重叠和分层聚类。与现有方法不同，该方法消除了关键偏差，并揭示了细微的结构差异，从而在fMRI脑网络和Facebook社交网络中提供了新的洞察。

ABSTRACT

Clustering is one of the most universal approaches for understanding complex data. A pivotal aspect of clustering analysis is quantitatively comparing clusterings; clustering comparison is the basis for tasks such as clustering evaluation, consensus clustering, and tracking the temporal evolution of clusters. For example, the extrinsic evaluation of clustering methods requires comparing the uncovered clusterings to planted clusterings or known metadata. Yet, as we demonstrate, existing clustering comparison measures have critical biases which un- dermine their usefulness, and no measure accommodates both overlapping and hierarchical clusterings. Here we unify the comparison of disjoint, overlapping, and hierarchically struc- tured clusterings by proposing a new element-centric framework: elements are compared based on the relationships induced by the cluster structure, as opposed to the traditional cluster-centric philosophy. We demonstrate that, in contrast to standard clustering simi- larity measures, our framework does not suffer from critical biases and naturally provides unique insights into how the clusterings differ. We illustrate the strengths of our framework by revealing new insights into the organization of clusters in two applications: the improved classification of schizophrenia based on the overlapping and hierarchical community struc- ture of fMRI brain networks, and the disentanglement of various social homophily factors in Facebook social networks. The universality of clustering suggests far-reaching impact of our framework throughout all areas of science.

研究动机与目标

• 解决缺乏统一框架来比较不相交、重叠和分层聚类的问题。
• 识别现有聚类比较度量中固有的关键偏差，这些偏差损害了其可靠性和可解释性。
• 开发一种基于聚类结构诱导的元素级关系来评估聚类的方法。
• 为聚类评估、共识聚类和时序追踪等应用提供更准确、更具洞察力的比较方法。
• 提供一种适用于跨科学领域的通用工具，以改善对复杂数据结构的理解。

提出的方法

• 提出一种以元素为中心的方法，基于元素在聚类间的关系评估相似性，而非直接比较聚类。
• 通过成员关系定义元素级关系，利用共享和嵌套成员关系捕捉重叠与分层结构。
• 构建一种聚合元素级比较的相似性度量，保留不同类型聚类中的结构细微差异。
• 使用该框架计算聚类对之间的相似性，无需假设聚类不相交或无环。
• 实现对聚类组织中细微差异的检测，例如重叠社区或分层嵌套结构。
• 将该框架应用于真实世界数据，包括fMRI脑网络和Facebook社交网络，以验证其有效性。

实验结果

研究问题

• RQ1 如何统一比较不相交、重叠和分层聚类？
• RQ2 传统聚类中心的聚类比较度量中存在哪些固有偏差？
• RQ3 以元素为中心的框架能否揭示标准方法无法检测到的结构差异？
• RQ4 所提出的框架如何改善神经科学与社交网络中复杂数据结构的分析？
• RQ5 该框架在现实应用中能在多大程度上增强聚类结果的可解释性？

主要发现

• 所提出的以元素为中心的框架消除了标准聚类比较度量中存在的关键偏差。
• 该框架自然地容纳了重叠和分层聚类，而无需施加结构假设。
• 通过分析元素级关系而非聚类级匹配，该框架为聚类结构提供了独特洞察。
• 在fMRI脑网络中，该框架基于重叠和分层社区结构，揭示了对精神分裂症的精细化分类。
• 在Facebook社交网络中，它通过捕捉细致的社区关系，实现了对多种同质性因素的解耦。
• 由于其在处理多样化聚类类型方面的通用性，该框架在科学领域中展现出广泛适用性。