[论文解读] Reclassification formula that provides to surpass K-means method

Mikhail V. Kharinov|arXiv (Cornell University)|Sep 27, 2012

Neural Networks and Applications参考文献 10被引用 5

一句话总结

本文提出了一种重新分类公式，通过允许以集合形式集体重新分配数据点，改进了K-means聚类方法，实现了稳定划分并最小化总平方误差（E）。与K-means不同，后者常因单个点的重新分配而导致不稳定、次优的聚类结果，该方法通过集体重新分类数据点集合，确保达到平衡稳定性，并通过迭代优化聚类分配，持续获得更低的E值。

ABSTRACT

The paper presents a formula for the reclassification of multidimensional data points (columns of real numbers, "objects", "vectors", etc.). This formula describes the change in the total squared error caused by reclassification of data points from one cluster into another and prompts the way to calculate the sequence of optimal partitions, which are characterized by a minimum value of the total squared error E (weighted sum of within-class variance, within-cluster sum of squares WCSS etc.), i.e. the sum of squared distances from each data point to its cluster center. At that source data points are treated with repetitions allowed, and resulting clusters from different partitions, in general case, overlap each other. The final partitions are characterized by "equilibrium" stability with respect to the reclassification of the data points, where the term "stability" means that any prescribed reclassification of data points does not increase the total squared error E. It is important that conventional K-means method, in general case, provides generation of instable partitions with overstated values of the total squared error E. The proposed method, based on the formula of reclassification, is more efficient than K-means method owing to converting of any partition into stable one, as well as involving into the process of reclassification of certain sets of data points, in contrast to the classification of individual data points according to K-means method.

研究动机与目标

• 解决传统K-means算法在多维数据聚类中产生的不稳定性与次优解问题。
• 开发一种生成总平方误差E最小的划分的方法，其中E定义为点到其聚类中心距离的平方和。
• 引入一种基于点集而非单个点的重新分类机制，提升向稳定解收敛的能力。
• 确保最终的划分处于“平衡”稳定性状态，即任何重新分类都无法进一步降低E。
• 通过消除由不稳定聚类配置导致的E值高估，超越K-means的性能表现。

提出的方法

• 该方法引入一个数学公式，用于计算将数据点从一个聚类重新分配到另一个聚类时，总平方误差（E）的变化量。
• 该方法不仅可评估单个点的重新分配效果，还可评估预定义点集的重新分配，从而实现更具策略性和效率的聚类调整。
• 该算法通过迭代应用重新分类公式，识别并实施可降低E的更改，逐步逼近稳定划分。
• 稳定性定义为：任何单个点或点集的重新分类都无法进一步降低E，从而确保最优收敛。
• 该方法允许数据点被重复使用，从而在优化过程中允许多个划分间出现重叠聚类。
• 通过允许集体重新分配，该方法避免了K-means常见的局部极小陷阱，从而获得更具全局优势的解。

实验结果

研究问题

• RQ1 能否开发一种重新分类公式，系统性地将总平方误差E降低至K-means所能达到的水平以下？
• RQ2 与单个点重新分配相比，集合形式的数据点重新分配在收敛性和稳定性方面表现如何？
• RQ3 何种条件可定义为‘平衡’稳定划分，即通过重新分类无法进一步降低E？
• RQ4 为何K-means常产生E值被高估的不稳定划分，且该问题能否通过数学方法修正？
• RQ5 所提出的方法在最小化组内平方和（WCSS）方面，相较于K-means能实现多大程度的性能超越？

主要发现

• 所提出的重新分类公式能够生成稳定聚类划分，其中任何进一步的重新分类都无法降低总平方误差E。
• 该方法通过避免不稳定且局部最优的解，持续实现低于K-means的E值。
• 通过重新分类点集而非单个点，该方法避免了K-means中常见的短视调整，从而实现更全局最优的聚类配置。
• 最终的划分具有‘平衡’稳定性特征，即对任何重新分类尝试均具有鲁棒性，确保解的最优性。
• 即使在允许数据点重复使用的情况下，该方法依然有效，从而在不同划分迭代中允许多个聚类重叠。
• 通过迭代应用重新分类公式，该方法能将任意初始划分转化为稳定且E值最小的配置，表现出优于K-means的性能。