[论文解读] Statistical and Computational Guarantees of Lloyd's Algorithm and its Variants

Y. Lu, Harrison H. Zhou|arXiv (Cornell University)|Dec 7, 2016

Statistical Mechanics and Entropy参考文献 13被引用 59

一句话总结

该论文首次为子高斯混合模型上的Lloyd算法提供了统计与计算保证，表明在弱初始化条件下，该算法可在$O(\log n)$轮迭代内实现极小最优聚类误差。研究将分析扩展至社区检测与众包任务，证明了线性收敛性，并在信噪比条件上优于以往工作。

ABSTRACT

Clustering is a fundamental problem in statistics and machine learning. Lloyd's algorithm, proposed in 1957, is still possibly the most widely used clustering algorithm in practice due to its simplicity and empirical performance. However, there has been little theoretical investigation on the statistical and computational guarantees of Lloyd's algorithm. This paper is an attempt to bridge this gap between practice and theory. We investigate the performance of Lloyd's algorithm on clustering sub-Gaussian mixtures. Under an appropriate initialization for labels or centers, we show that Lloyd's algorithm converges to an exponentially small clustering error after an order of $\log n$ iterations, where $n$ is the sample size. The error rate is shown to be minimax optimal. For the two-mixture case, we only require the initializer to be slightly better than random guess. In addition, we extend the Lloyd's algorithm and its analysis to community detection and crowdsourcing, two problems that have received a lot of attention recently in statistics and machine learning. Two variants of Lloyd's algorithm are proposed respectively for community detection and crowdsourcing. On the theoretical side, we provide statistical and computational guarantees of the two algorithms, and the results improve upon some previous signal-to-noise ratio conditions in literature for both problems. Experimental results on simulated and real data sets demonstrate competitive performance of our algorithms to the state-of-the-art methods.

研究动机与目标

• 弥合Lloyd算法在聚类任务中经验成功与理论理解之间的差距。
• 在子高斯混合模型下，建立Lloyd算法的统计与计算收敛性保证。
• 通过Lloyd算法的新型变体，将分析扩展至社区检测与众包任务。
• 推导出极小最优聚类误差率，并在信噪比条件上弱于以往工作。
• 分析多步迭代的收敛性，超越单步更新，解决了以往两阶段估计器的局限性。

提出的方法

• 分析两分量球面高斯混合模型上Lloyd算法的性能，其中中心对称分布为$\theta^*$与$-\theta^*$。
• 采用弱初始化条件——略优于随机初始化——以确保标签或中心估计的收敛性。
• 利用浓度不等式与子高斯尾部界，控制迭代更新中的偏差。
• 应用Chernoff与Hoeffding不等式，分析标签分配误差与权重向量的范数偏差。
• 提出两种算法变体：一种用于社区检测，一种用于众包，均附带理论保证。
• 在适当的分离条件下，通过迭代优化实现线性收敛至极小最优误差率。

实验结果

研究问题

• RQ1 Lloyd算法的初始化弱到何种程度仍能收敛至极小最优解？
• RQ2 在子高斯混合模型下，Lloyd算法的收敛速率如何随样本量$n$变化？
• RQ3 Lloyd算法的分析能否推广至社区检测与众包等非聚类问题？
• RQ4 在两分量高斯混合模型中，实现精确恢复（强一致性）所需的信噪比条件是什么？
• RQ5 Lloyd算法的多步迭代相比两阶段估计器中的单步更新，如何提升误差率？

主要发现

• 在弱初始化条件下，Lloyd算法在$O(\log n)$轮迭代后实现指数级小的聚类误差。
• 聚类误差率达到极小最优，与子高斯混合模型的理论下界一致。
• 对于两分量高斯混合模型，当信噪比超过$4\log n$时，以高概率实现精确恢复，该条件弱于以往工作。
• 该算法线性收敛至最优误差率，优于两阶段估计器中的一轮更新方法。
• 所提出的社区检测与众包任务的算法变体，在信噪比条件上优于现有方法。
• 在模拟与真实数据上的实验结果表明，其性能与当前最先进方法相当。