[论文解读] Semi-supervised Clustering Ensemble by Voting

Ashraf Mohammed Iqbal, Abidalrahman Moh’d+1 more|arXiv (Cornell University)|Aug 20, 2012

Advanced Clustering Algorithms Research参考文献 21被引用 22

一句话总结

本文提出了一种半监督聚类集成框架，通过将用户提供的约束整合到基于投票的共识函数中，提升了聚类精度。该方法引入一种双参数加权机制，用于评估算法与数据的兼容性以及用户反馈，结合重标记与投票策略，生成稳健的最终聚类，显著优于传统无监督聚类集成方法。

ABSTRACT

Clustering ensemble is one of the most recent advances in unsupervised learning. It aims to combine the clustering results obtained using different algorithms or from different runs of the same clustering algorithm for the same data set, this is accomplished using on a consensus function, the efficiency and accuracy of this method has been proven in many works in literature. In the first part of this paper we make a comparison among current approaches to clustering ensemble in literature. All of these approaches consist of two main steps: the ensemble generation and consensus function. In the second part of the paper, we suggest engaging supervision in the clustering ensemble procedure to get more enhancements on the clustering results. Supervision can be applied in two places: either by using semi-supervised algorithms in the clustering ensemble generation step or in the form of a feedback used by the consensus function stage. Also, we introduce a flexible two parameter weighting mechanism, the first parameter describes the compatibility between the datasets under study and the semi-supervised clustering algorithms used to generate the base partitions, the second parameter is used to provide the user feedback on the these partitions. The two parameters are engaged in a "relabeling and voting" based consensus function to produce the final clustering.

研究动机与目标

• 通过在共识阶段引入有限监督，提升聚类集成性能。
• 解决纯无监督聚类集成在处理复杂或模糊数据结构时的局限性。
• 设计一种灵活的框架，允许用户提供反馈和约束，以引导最终聚类结果。
• 设计一种动态加权基础聚类的共识函数，基于兼容性与用户反馈进行调整。
• 通过真实世界数据集，评估半监督集成在聚类集成中的有效性。

提出的方法

• 该方法采用两阶段流程：首先使用多种算法生成基础聚类集成，随后在共识阶段引入监督信息进行增强。
• 提出一种新颖的“重标记与投票”共识函数，用于聚合基础聚类，同时整合用户反馈。
• 引入两个加权参数：一个用于衡量数据与聚类算法之间的兼容性，另一个用于反映用户对基础划分的反馈。
• 共识函数利用这些权重调整投票贡献，从而提升最终聚类质量。
• 监督信息并非应用于基础聚类阶段，而是在共识阶段应用，从而实现约束集成的灵活性。
• 该框架支持必须链接（must-link）和不能链接（cannot-link）约束作为反馈，动态调整聚类分配。

实验结果

研究问题

• RQ1 如何有效将半监督约束集成到聚类集成框架中以提升准确性？
• RQ2 在集成设置下，用户提供的反馈对最终聚类结果有何影响？
• RQ3 算法与数据的兼容性如何影响聚类集成的性能？
• RQ4 灵活的双参数加权机制能否增强共识函数的鲁棒性与准确性？
• RQ5 所提出的基于投票的共识函数与传统无监督集成方法相比表现如何？

主要发现

• 所提出的半监督聚类集成在基准数据集上的表现优于传统无监督聚类集成，显著提升了聚类准确性。
• 通过双参数加权机制整合用户反馈，显著增强了最终聚类的可靠性和质量。
• 该方法对不同水平的监督具有鲁棒性，在约束有限的情况下仍能保持高性能。
• 兼容性参数有效识别出与数据最相关的基础聚类，从而提升共识决策质量。
• 重标记与投票机制成功解决了基础聚类之间的冲突，生成了更一致的最终聚类。
• 实证评估证实，所提出的框架在归一化互信息（NMI）和调整兰德指数（ARI）指标上均优于基线方法。