[论文解读] Parallel K-Medoids++ Spatial Clustering Algorithm Based on MapReduce

Yue Xia, Man Wang+2 more|arXiv (Cornell University)|Aug 24, 2016

Advanced Clustering Algorithms Research参考文献 5被引用 10

一句话总结

本文提出了一种基于MapReduce框架的并行K-Medoids++空间聚类算法，以高效处理大规模空间数据集。通过将改进的初始化方法与MapReduce相结合，该方法减少了迭代次数，在通用硬件上相比传统K-Medoids实现了更优的可扩展性和性能。

ABSTRACT

Clustering analysis has received considerable attention in spatial data mining for several years. With the rapid development of the geospatial information technologies, the size of spatial information data is growing exponentially which makes clustering massive spatial data a challenging task. In order to improve the efficiency of spatial clustering for large scale data, many researchers proposed several efficient clustering algorithms in parallel. In this paper, a new K-Medoids++ spatial clustering algorithm based on MapReduce for clustering massive spatial data is proposed. The initialization algorithm to decrease the number of iterations is combined with the MapReduce framework. Comparative Experiments conducted over different dataset and different number of nodes indicate that the proposed K-Medoids spatial clustering algorithm provides better efficiency than traditional K-Medoids and scales well while processing massive spatial data on commodity hardware.

研究动机与目标

• 应对地理空间技术产生的大规模空间数据集聚类带来的日益增长的挑战。
• 通过利用分布式计算提高大数据空间聚类的效率。
• 通过优化的初始化策略减少K-Medoids聚类中的迭代次数。
• 利用MapReduce并行计算模型在通用硬件上实现高可扩展性和高性能。

提出的方法

• 将K-Medoids++初始化算法适配于选择具有更高多样性和质量的初始聚类中心。
• 在MapReduce框架内实现聚类过程，将数据处理划分为映射（map）和归约（reduce）阶段。
• 在映射阶段，基于距离计算将数据点分配给最近的中心点（medoid）。
• 在归约阶段，通过最小化每个聚类内部的距离总和来更新中心点。
• 通过多轮MapReduce迭代持续优化聚类分配和中心点更新。
• 集成K-Medoids++初始化以提升收敛速度和聚类质量。

实验结果

研究问题

• RQ1 基于MapReduce的并行K-Medoids++算法能否显著减少大规模空间数据聚类的时间？
• RQ2 与标准K-Medoids相比，所提出的初始化方法在迭代次数和收敛速度方面有何影响？
• RQ3 该算法在数据规模和计算节点数量增加时，其可扩展性如何？
• RQ4 在空间数据集上，该算法在效率和准确性方面与传统K-Medoids相比表现如何？
• RQ5 使用通用硬件在实现空间聚类任务的高可扩展性方面有何影响？

主要发现

• 由于采用了改进的K-Medoids++初始化，所提出的算法显著减少了达到收敛所需的迭代次数。
• 对比实验表明，该算法在各种数据集和节点数量下均表现出优于传统K-Medoids的效率。
• 该算法在通用硬件上表现出良好的可扩展性，随着数据规模和聚类数量的增加，性能依然稳定。
• 随着节点数量的增加，性能增益持续显现，表明具有强大的水平可扩展性。
• 将K-Medoids++与MapReduce结合可实现更短的处理时间并降低计算开销。
• 该方法在保持高效性的同时实现了高质量的聚类结果，适用于现实世界的大规模空间数据应用。