[论文解读] Quantization/clustering: when and why does k-means work?

Clément Levrard|arXiv (Cornell University)|Jan 11, 2018

Advanced Clustering Algorithms Research参考文献 30被引用 7

一句话总结

本文研究了k均值聚类与量化在何种条件下兼容，表明在边界条件（margin condition）下，经验风险最小化器和Lloyd算法在失真和分类误差方面均能实现快速且最优的收敛速率。研究证明，当数据满足分离性和可聚类性假设时，k均值输出可提供近乎最优的聚类效果。

ABSTRACT

Though mostly used as a clustering algorithm, k-means are originally designed as a quantization algorithm. Namely, it aims at providing a compression of a probability distribution with k points. Building upon [21, 33], we try to investigate how and when these two approaches are compatible. Namely, we show that provided the sample distribution satisfies a margin like condition (in the sense of [27] for supervised learning), both the associated empirical risk minimizer and the output of Lloyd's algorithm provide almost optimal classification in certain cases (in the sense of [6]). Besides, we also show that they achieved fast and optimal convergence rates in terms of sample size and compression risk.

研究动机与目标

• 理解k均值聚类在何种理论条件下可与概率分布的最优量化对齐。
• 弥合k均值作为聚类算法与原始作为量化方法之间的鸿沟。
• 在样本大小与失真度方面，建立经验风险最小化器和Lloyd算法的快速且最优收敛速率。
• 在边界条件下分析k均值输出的分类误差，确保对初始化和数据分离的鲁棒性。
• 证明在充分聚类分离条件下，Lloyd算法以高概率实现近乎最优的分类性能。

提出的方法

• 采用受监督学习启发的边界条件（参考[28]），以确保聚类中心之间具有充分分离。
• 应用Hoeffding不等式，控制经验概率与真实概率在Voronoi单元上的偏差。
• 利用Voronoi单元的对称差界，关联经验分类误差与真实分类误差。
• 借助大偏差不等式，控制经验失真与真实失真之间的偏差。
• 利用质心条件与Voronoi划分的稳定性，控制Lloyd算法输出与经验最小化器之间的距离。
• 结合[21, 34]的结果，表明在聚类充分分离时，良好初始化可导致低分类误差。

实验结果

研究问题

• RQ1 在何种条件下，k均值聚类产生的分类结果在失真和误分类方面近乎最优？
• RQ2 边界条件如何影响k均值在样本大小与分类误差方面的收敛速率？
• RQ3 在可聚类性与分离性假设下，Lloyd算法在多大程度上能恢复最优的经验风险最小化器？
• RQ4 在边界条件约束下，k均值的分类误差能否在期望与高概率下被有界？
• RQ5 当数据分布满足边界条件时，量化性能与k均值聚类准确率之间存在何种关系？

主要发现

• 在边界条件下，Lloyd算法的分类误差以 $ O\left(\sqrt{\frac{\log n}{n}}\right) $ 的速率收敛，达到最优速率。
• 经验风险最小化器与Lloyd算法输出在失真度上的收敛速率为 $ O\left(\frac{\sqrt{\log n}}{\sqrt{n}}\right) $，达到最优。
• 当聚类中心充分分离时，Lloyd算法的误分类点数以高概率不超过 $ \frac{10}{p_{\text{min}}} $。
• Lloyd算法输出与经验最小化器之间的距离被限制在 $ \frac{60M}{n p_{\text{min}}^2} $ 以内，确保稳定性。
• 以高概率，Lloyd算法输出相对于真实最优中心的分类误差被限制在 $ C M \sqrt{\frac{1}{n}} \sqrt{\log n} $ 以内。
• 当 $ k=2 $ 且分量为球形且权重相等时，最优分类等价于基于均值的划分，即使中心与真实均值不同。