[论文解读] Variance-based Clustering Technique for Distributed Data Mining Applications

Lamine M. Aouad, Nhien‐An Le‐Khac+1 more|arXiv (Cornell University)|Mar 28, 2017

Data Mining Algorithms and Applications被引用 8

一句话总结

本文提出了一种基于方差的分布式聚类算法，通过独立的本地聚类并利用最小方差增加进行结果合并，从而最小化通信开销。该方法引入子聚类扰动以提升全局分布的准确性，在松散耦合的分布式环境中，显著优于集中式方法的聚类质量。

ABSTRACT

Nowadays, huge amounts of data are naturally collected in distributed sites due to different facts and moving these data through the network for extracting useful knowledge is almost unfeasible for either technical reasons or policies. Furthermore, classical par- allel algorithms cannot be applied, specially in loosely coupled environments. This requires to develop scalable distributed algorithms able to return the global knowledge by aggregating local results in an effective way. In this paper we propose a distributed algorithm based on independent local clustering processes and a global merging based on minimum variance increases and requires a limited communication overhead. We also introduce the notion of distributed sub-clusters perturbation to improve the global generated distribution. We show that this algorithm improves the quality of clustering compared to classical local centralized ones and is able to find real global data nature or distribution.

研究动机与目标

• 解决由于技术或政策限制而无法移动数据的大规模分布式数据挖掘挑战。
• 开发一种适用于传统并行算法失效的松散耦合环境的可扩展分布式聚类算法。
• 在保留分布式各站点高聚类质量的同时，最小化通信开销。
• 通过基于方差的合并和子聚类扰动建模数据分布，提升全局聚类准确性。

提出的方法

• 在分布式数据站点上独立执行本地聚类，以生成本地聚类结构。
• 采用基于方差的合并策略，选择方差增加最小的全局聚类组合，以确保稳定性和准确性。
• 引入分布式子聚类扰动，以模拟全局数据分布并减少本地聚类带来的偏差。
• 通过优先选择方差增加最小的聚类的全局合并过程，聚合本地结果。
• 应用通信高效的协议，仅在各站点之间交换必要的聚类统计信息（例如，质心、方差）。
• 通过避免全量数据传输并依赖统计摘要进行全局知识提取，确保可扩展性。

实验结果

研究问题

• RQ1 在不集中原始数据的情况下，分布式聚类算法能否实现高质量的全局聚类？
• RQ2 基于方差的合并策略如何提升分布式环境中全局聚类结构的准确性？
• RQ3 子聚类扰动在多大程度上增强了全局数据分布的代表性？
• RQ4 通信开销对松散耦合、分布式系统中聚类性能有何影响？

主要发现

• 所提出的算法在聚类质量上显著优于经典的本地集中式聚类方法。
• 基于方差的合并策略能有效识别方差增加最小的最优全局聚类组合。
• 子聚类扰动改善了全局分布建模，降低了因本地数据偏斜带来的偏差。
• 通信开销保持较低水平，因为仅交换聚类统计信息（而非原始数据）在各站点之间。