[论文解读] Semi-Supervised Algorithms for Approximately Optimal and Accurate Clustering

Buddhima Gamlath, Sangxia Huang+1 more|arXiv (Cornell University)|Mar 2, 2018

Machine Learning and Algorithms被引用 5

一句话总结

本文提出了半监督 $k$-均值聚类的算法，通过最少数量的同簇查询，实现了 $(1+\epsilon)$-近似代价和 $(1-\epsilon)$-准确率。该工作建立了紧致的查询复杂度界限，表明在欧氏空间中查询复杂度与维度呈线性关系，在有限度量空间中与候选中心数量呈对数关系，并通过维度无关的查询方式提升了效率，代价是 $k$-依赖性更高。

ABSTRACT

We study $k$-means clustering in a semi-supervised setting. Given an oracle that returns whether two given points belong to the same cluster in a fixed optimal clustering, we investigate the following question: how many oracle queries are sufficient to efficiently recover a clustering that, with probability at least $(1 - \\delta)$, simultaneously has a cost of at most $(1 + \\epsilon)$ times the optimal cost and an accuracy of at least $(1 - \\epsilon)$? We show how to achieve such a clustering on $n$ points with $O{((k^2 \\log n) \\cdot m{(Q, \\epsilon^4, \\delta / (k\\log n))})}$ oracle queries, when the $k$ clusters can be learned with an $\\epsilon'$ error and a failure probability $\\delta'$ using $m(Q, \\epsilon',\\delta')$ labeled samples in the supervised setting, where $Q$ is the set of candidate cluster centers. We show that $m(Q, \\epsilon', \\delta')$ is small both for $k$-means instances in Euclidean space and for those in finite metric spaces. We further show that, for the Euclidean $k$-means instances, we can avoid the dependency on $n$ in the query complexity at the expense of an increased dependency on $k$: specifically, we give a slightly more involved algorithm that uses $O(k^4/(\\epsilon^2 \\delta) + (k^{9}/\\epsilon^4) \\log(1/\\delta) + k \\cdot m(\\mathbb{R}^r, \\epsilon^4/k, \\delta))$ oracle queries. We also show that the number of queries needed for $(1 - \\epsilon)$-accuracy in Euclidean $k$-means must linearly depend on the dimension of the underlying Euclidean space, and for finite metric space $k$-means, we show that it must at least be logarithmic in the number of candidate centers. This shows that our query complexities capture the right dependencies on the respective parameters.

研究动机与目标

• 为解决无监督 $k$-均值聚类的局限性，即最优解可能不唯一且寻找最优解是 NP-难问题。
• 设计高效的半监督算法，利用少量同簇查询，恢复出既近似最优又高度准确的聚类结果。
• 在欧氏空间和有限度量空间的 $k$-均值聚类设置下，建立实现 $(1+\epsilon)$-近似代价和 $(1-\epsilon)$-准确率所需查询次数的紧致理论上下界。
• 通过证明匹配的下界，表明所提出的查询复杂度在 $n$ 的对数因子内以及 $\epsilon$ 和 $k$ 的多项式因子内是最优的。

提出的方法

• 该算法采用监督学习框架，利用 $m(Q, \epsilon', \delta')$ 个标记样本，以 $\epsilon'$ 的误差和 $\delta'$ 的失败概率估计聚类中心。
• 将半监督聚类问题转化为对同簇查询的调用，查询次数受 $O((k^2 \log n) \cdot m(Q, \epsilon^4, \delta/(k \log n)))$ 的上界约束。
• 对于欧氏空间中的 $k$-均值聚类，通过更复杂的处理流程避免查询复杂度依赖于 $n$，得到 $O(k^4/\epsilon^2\delta + k^9/\epsilon^4 \log(1/\delta) + k \cdot m(\mathbb{R}^r, \epsilon^4/k, \delta))$ 的查询次数。
• 该方法利用 Voronoi 划分的结构特性和对称点集中的距离对称性，推导出查询复杂度的下界。
• 在 $\mathbb{R}^r$ 中构造包含 $\pm e_i$ 点的困难实例，证明为实现恒定准确率，查询复杂度必须随维度 $r$ 线性增长。
• 进一步构造一个来自 $\log n$ 个点的有限度量空间实例，表明查询复杂度至少为 $\Omega(\log |Q|)$，从而证明边界的紧致性。

实验结果

研究问题

• RQ1 在 $k$-均值聚类中，实现 $(1+\epsilon)$-近似代价和 $(1-\epsilon)$-准确率所需的最少同簇查询次数是多少？
• RQ2 在欧氏空间 $k$-均值聚类中，能否使查询复杂度与 $n$ 无关，同时不牺牲准确率或近似保证？
• RQ3 在欧氏空间 $k$-均值聚类中，为实现恒定准确率，对维度 $r$ 的依赖是否不可避免？若是，其强度如何？
• RQ4 在有限度量空间 $k$-均值聚类中，查询复杂度如何随候选中心数量 $|Q|$ 变化？
• RQ5 所提出的查询复杂度上界是否紧致？能否通过信息论下界实现匹配？

主要发现

• 本文建立了上界：通过 $O((k^2 \log n) \cdot m(Q, \epsilon^4, \delta/(k \log n)))$ 次同簇查询，可实现 $(1+\epsilon)$-近似代价和 $(1-\epsilon)$-准确率。
• 对于欧氏空间中的 $k$-均值聚类，通过改进算法，实现了与 $n$ 无关的查询复杂度，代价是 $k$-依赖性更高：$O(k^4/\epsilon^2\delta + k^9/\epsilon^4 \log(1/\delta) + k \cdot m(\mathbb{R}^r, \epsilon^4/k, \delta))$。
• 本文证明了下界，表明在欧氏空间中为实现恒定准确率，查询复杂度必须随维度 $r$ 线性增长。
• 进一步证明，在有限度量空间中，查询复杂度至少为 $\Omega(\log |Q|)$，表明该界在常数因子内是紧致的。
• 结果表明，所提算法在近似性、准确率与查询效率之间实现了最优权衡，其查询复杂度匹配信息论极限。
• 分析确认，对欧氏空间和有限度量空间中的 $k$-均值聚类，$m(Q, \epsilon', \delta')$ 均较小，验证了该方法的实际可行性。