[论文解读] The Importance of Good Starting Solutions in the Minimum Sum of Squares Clustering Problem

Paweł Kalczyński, Jack Brimberg+1 more|arXiv (Cornell University)|Apr 6, 2020

Facility Location and Emergency Management参考文献 29被引用 5

一句话总结

本文提出了三种新颖的算法，用于生成最小平方和聚类问题的高质量初始解，显著提升了 k-means 等局部搜索启发式算法的性能。通过使用这些量身定制的初始解，作者在 19 个中大型挑战性实例中的 18 个上达到了最佳已知结果，并取得了 5 项新的最佳已知解，证明了在结合简单局部搜索时，优越的初始点可超越复杂的元启发式算法。

ABSTRACT

The clustering problem has many applications in Machine Learning, Operations Research, and Statistics. We propose three algorithms to create starting solutions for improvement algorithms for this problem. We test the algorithms on 72 instances that were investigated in the literature. Forty eight of them are relatively easy to solve and we found the best known solution many times for all of them. Twenty four medium and large size instances are more challenging. We found five new best known solutions and matched the best known solution for 18 of the remaining 19 instances.

研究动机与目标

• 为解决最小平方和聚类问题中局部搜索算法因初始聚类中心不佳而导致的收敛性差这一关键挑战。
• 开发简单但高效的算法，以生成高质量的初始解，从而提升标准改进启发式算法的有效性。
• 检验在困难基准实例上，优质初始解是否能超越复杂元启发式算法，特别是在聚类任务中的表现。
• 研究初始化质量对 k-means 类算法最终解质量的影响。
• 通过聚焦于智能初始化而非复杂搜索机制，提供一种实用且可扩展的复杂元启发式算法替代方案。

提出的方法

• 提出三种新算法——构造法、分离法和合并法，专门用于生成平方和聚类问题的高质量初始聚类中心。
• 采用多起点局部搜索策略，从每个生成的初始解出发，应用标准改进算法（如 Lloyd、MacQueen、Hartigan-Wong）。
• 通过不同 α 值（1.1、1.5、2.0）应用合并过程，以探索初始解中不同程度的扰动与多样化。
• 在 10 个广泛使用的数据集中的 72 个基准实例上测试算法，涵盖小型（易于求解）和中大型（具有挑战性）问题。
• 与标准 R 实现的 k-means 变体（采用随机或 k-means++ 初始化）以及近期文献中的先进元启发式算法进行对比。
• 对合并过程每实例运行 1,000 次，以评估其鲁棒性及潜在改进空间。

实验结果

研究问题

• RQ1 使用高质量初始解是否能显著提升最小平方和聚类问题中局部搜索算法的性能？
• RQ2 当与标准局部搜索结合时，简单且确定性的初始化方法是否能优于复杂的元启发式算法？
• RQ3 定制化的初始解在多大程度上可减少达到最优或近似最优解所需的多起点迭代次数？
• RQ4 在中大型聚类实例上，初始化方法的选择如何影响最终解的质量？
• RQ5 采用‘少即是多’的方法——即从优质初始点出发使用简单局部搜索——是否能与复杂混合元启发式算法的性能相匹配甚至超越？

主要发现

• 对于 48 个相对简单的实例，所有测试算法（包括标准 R 实现）均成功找到了最佳已知解，证实了所提方法在简单问题上的有效性。
• 在 24 个具有挑战性的中大型实例中，使用所提算法发现了 5 项新的最佳已知解，证明了其在改进现有结果方面的能力。
• 在剩余 19 个困难实例中，所提算法在 18 个实例上达到了最佳已知解，表明其具有强大的鲁棒性与可靠性。
• 当 α=2.0 时，合并过程运行 10,000 次后，tsplib1060 数据集在 k=25 时得到 6.06607E+08 的解，比先前报告的最佳已知解 6.06700E+08 提高了 0.015%。
• 基于 R 的实现中最佳结果在 24 个困难实例中的 9 个实例上未能达到最佳已知解，凸显了所提初始解方法的优越性。
• 本研究证实，初始解的质量是局部搜索成功的关键决定因素，其影响常超过所用元启发式算法的复杂性。