[论文解读] Universal Algorithms for Clustering Problems

Arun Ganesh, Bruce M. Maggs+1 more|arXiv (Cornell University)|Jan 1, 2021

Facility Location and Emergency Management被引用 1

一句话总结

本文提出了k-中位数、k-均值和k-中心聚类问题的首个通用算法，采用一种新颖的线性规划（LP）松弛框架，实现了（O(1), O(1)）近似保证。关键贡献在于，即使在实际客户集合事先未知的情况下，也能对所有客户子集实现常数因子的后悔最小化解，且紧致的下界结果表明，获得更优保证在NP-hard范围内。

ABSTRACT

This paper presents universal algorithms for clustering problems, including the widely studied k-median, k-means, and k-center objectives. The input is a metric space containing all potential client locations. The algorithm must select k cluster centers such that they are a good solution for any subset of clients that actually realize. Specifically, we aim for low regret, defined as the maximum over all subsets of the difference between the cost of the algorithm’s solution and that of an optimal solution. A universal algorithm’s solution sol for a clustering problem is said to be an (α, β)-approximation if for all subsets of clients C', it satisfies sol(C') ≤ α ⋅ opt(C') + β ⋅ mr, where opt(C') is the cost of the optimal solution for clients C' and mr is the minimum regret achievable by any solution. Our main results are universal algorithms for the standard clustering objectives of k-median, k-means, and k-center that achieve (O(1), O(1))-approximations. These results are obtained via a novel framework for universal algorithms using linear programming (LP) relaxations. These results generalize to other 𝓁_p-objectives and the setting where some subset of the clients are fixed. We also give hardness results showing that (α, β)-approximation is NP-hard if α or β is at most a certain constant, even for the widely studied special case of Euclidean metric spaces. This shows that in some sense, (O(1), O(1))-approximation is the strongest type of guarantee obtainable for universal clustering.

研究动机与目标

• 设计通用算法，在完整客户集合未知的情况下，为任意客户子集提供接近最优的聚类解。
• 最小化后悔——即在所有可能客户子集上，算法代价与最优代价之间的最大差异。
• 通过引入（α, β）近似保证，建立通用聚类的紧致近似界，其中α和β为绝对常数。
• 证明即使在欧几里得空间中，获得优于（O(1), O(1)）近似的保证也是NP-hard的，揭示了通用聚类近似能力的极限。

提出的方法

• 将通用聚类建模为在所有客户子集上的后悔最小化问题，输入为度量空间。
• 提出一种新颖的LP松弛框架，推导出在成本与后悔之间取得平衡的通用解。
• 利用简化聚类实例的性质，将近似保证转化为平面3-SAT的解，证明其下界。
• 通过从平面3-SAT的归约，证明当α或β低于某一常数时，（α, β）近似是NP-hard的。
• 分析最小后悔解（MR）的结构，并将其作为近似保证的基准。
• 将结果推广至ℓp目标函数及固定客户设置，展示该框架的广泛适用性。

实验结果

研究问题

• RQ1 我们能否为k-中位数、k-均值和k-中心聚类设计通用算法，使成本和后悔均达到常数因子近似？
• RQ2 在度量空间中，能否实现α和β均被绝对常数所限制的（α, β）近似？
• RQ3 通用聚类的近似能力存在哪些内在限制——能否实现优于（O(1), O(1)）的近似？
• RQ4 当α与非通用近似因子相匹配时，（α, β）近似是否对通用聚类问题是NP-hard的？
• RQ5 通过使用超过k个聚类中心，能否获得更优的近似常数？这是否会破坏现有的下界？

主要发现

• 本文首次提出基于新LP框架的（O(1), O(1)）近似算法，适用于通用k-中位数、k-均值和k-中心聚类。
• 在R²中的ℓp聚类中，当β = 1时，寻找（α, β）近似解是NP-hard的，即使α为常数，对所有p ≥ 1均成立。
• 在某些度量实例中，最小后悔（MR）远离零，因此不考虑后悔而实现严格α-近似是不可能的。
• 通过从平面3-SAT的归约证明，当α或β低于某一常数时，（α, β）近似是NP-hard的，表明（O(1), O(1)）是可达到的最强保证。
• 该框架可推广至ℓp目标函数及固定客户场景，展现出广泛适用性。
• 使用2k−1个中心可显著改善常数——例如，k-中位数的（27, 49）近似可改进为（9, 18）——尽管对(1−ε)k ln n个中心，下界依然成立。