[论文解读] Notes on using Determinantal Point Processes for Clustering with Applications to Text Clustering

Apoorv Agarwal, Anna Choromanska+1 more|arXiv (Cornell University)|Oct 26, 2014

Data Management and Algorithms参考文献 23被引用 4

一句话总结

本文提出 kmeansD++，一种基于确定性点过程（DPPs）的 k-means 聚类初始化方法，用于选择多样化且分离良好的质心。其性能与 kmeans++ 相当，同时能自动估计最优聚类数 k，优于随机初始化，并可在缺乏显式特征表示的场景中使用。

ABSTRACT

In this paper, we compare three initialization schemes for the KMEANS clustering algorithm: 1) random initialization (KMEANSRAND), 2) KMEANS++, and 3) KMEANSD++. Both KMEANSRAND and KMEANS++ have a major that the value of k needs to be set by the user of the algorithms. (Kang 2013) recently proposed a novel use of determinantal point processes for sampling the initial centroids for the KMEANS algorithm (we call it KMEANSD++). They, however, do not provide any evaluation establishing that KMEANSD++ is better than other algorithms. In this paper, we show that the performance of KMEANSD++ is comparable to KMEANS++ (both of which are better than KMEANSRAND) with KMEANSD++ having an additional that it can automatically approximate the value of k.

研究动机与目标

• 评估基于 DPP 的初始化方法（kmeansD++）在聚类质量方面是否优于传统的 k-means 初始化方法。
• 探究 kmeansD++ 是否能自动估计聚类数 k，从而克服 kmeans++ 的一个关键局限。
• 在合成数据集和文本聚类数据集上，将 kmeansD++ 与 kmeansRand 和 kmeans++ 进行比较。
• 评估 kmeansD++ 在缺乏特征表示或 k 未知的场景下的鲁棒性与可扩展性。

提出的方法

• kmeansD++ 使用确定性点过程（DPPs）从基于成对距离的核矩阵中采样初始质心，以确保多样性。
• DPP 采样过程确保所选质心在特征空间中彼此相距较远，从而促进聚类分离。
• 该方法采用参数为 σ 的高斯核来定义 DPP 核矩阵，其中较高的值表示更高的相似性。
• 算法计算每个点被选为质心的边际概率，优先选择与已选点距离较远的点。
• kmeansD++ 通过在 DPP 采样过程中当新点被选中的概率低于阈值时停止，从而自动估计 k。
• 该方法通过在文本聚类任务和合成数据上的 F1 分数进行评估，并与 kmeansRand 和 kmeans++ 进行比较。

实验结果

研究问题

• RQ1 kmeansD++ 在文本和合成数据集上的聚类性能是否与 kmeans++ 相当？
• RQ2 kmeansD++ 是否能自动估计聚类数 k，而无需用户输入？
• RQ3 与随机初始化（kmeansRand）相比，kmeansD++ 在聚类质量和稳定性方面表现如何？
• RQ4 与 kmeans++ 中基于距离的采样相比，DPP 采样带来的多样性是否有利于 k-means 的收敛？
• RQ5 kmeansD++ 是否能在缺乏显式特征表示的场景中有效应用？

主要发现

• kmeansD++ 在所有测试的文本聚类数据集（包括 Star Wars、Crusade、Raiders、Pirates、Bourne 和 Batman）上均实现了与 kmeans++ 相当的 F1 分数。
• 在 Crusade 数据集上，kmeansD++ 的 F1 分数为 0.86 ± 0.02，优于 kmeans++（0.84 ± 0.02）和 kmeansRand（0.80 ± 0.04）。
• kmeansD++ 在所有数据集上均持续优于 kmeansRand，且 F1 分数的提升具有统计显著性。
• 该方法成功实现了 k 的自动估计，消除了对用户指定 k 的依赖，这是相对于 kmeans++ 的关键优势。
• 实证结果表明，基于 DPP 的初始化比随机初始化能带来更稳定、更高质量的聚类结果。
• 理论分析支持 DPP 采样倾向于选择多样化的点，这与 k-means 寻找分离良好聚类的目标一致。