[论文解读] Sharp kernel clustering algorithms and their associated Grothendieck inequalities

Subhash Khot, Assaf Naor|arXiv (Cornell University)|Jan 17, 2010

Complexity and Algorithms in Graphs参考文献 12被引用 13

一句话总结

本文提出了一种针对核聚类问题的多项式时间近似算法，利用核矩阵 B 的几何参数 R(B) 和 C(B) 实现了 R(B)²/C(B) 的近似比。研究证明，获得更优的近似比是唯一游戏难题（Unique Games-hard），并通过格罗滕迪克型不等式提供了紧致的理论保证。

ABSTRACT

In the kernel clustering problem we are given a (large) n x n symmetric positive semidefinite matrix A = (aij) with Σni=1 Σnj=1aij = 0 and a (small) k x k symmetric positive semidefinite matrix B = (bij). The goal is to find a partition {S1, ..., Sk} of {1, ... n} which maximizes Σki=1 Σkj=1 (Σ(p, q)e Si x Sj apq) bij. We design a polynomial time approximation algorithm that achieves an approximation ratio of R(B)2/C(B), where R(B) and C(B) are geometric parameters that depend only on the matrix B, defined as follows: if bij = 0, achieving an approximation guarantee of (1 - e)R(B)2/C(B) is Unique Games hard.

研究动机与目标

• 设计一种高效的核聚类问题近似算法，目标是将 n 个对象划分为 k 个簇，以最大化成对相似度的加权和。
• 仅基于核矩阵 B 的几何不变量 R(B) 和 C(B) 来刻画近似比。
• 通过证明将近似比改进至 (1−ε)R(B)²/C(B) 以下为唯一游戏难题，建立紧致的下界结果。
• 将核聚类与格罗滕迪克不等式联系起来，揭示该问题中深层的结构约束。
• 通过谱方法与几何技术，为核聚类算法提供理论基础。

提出的方法

• 该算法首先对核聚类问题进行半定规划松弛，随后基于核矩阵 B 的奇异值分解执行随机化舍入过程。
• 定义 R(B) 为在某种归一化下 B 的行向量的 ℓ² 范数最大值，用于捕捉 B 的特征向量的几何分布。
• C(B) 定义为在单位向量 x 上的二次型 xᵀBx 的最小值，表示在变换空间中 B 的最小特征值。
• 近似比 R(B)²/C(B) 源于对随机化舍入方案下聚类目标期望值的分析。
• 分析依赖于格罗滕迪克型不等式，以界定半定规划松弛与真实最优解之间的整数性间隙。
• 通过从唯一游戏问题的归约推导出下界结果，表明改进该近似比在计算上是不可行的。

实验结果

研究问题

• RQ1 在多项式时间内，核聚类问题可达到的最佳近似比是多少？
• RQ2 核矩阵 B 的几何特性如何影响聚类算法的近似质量？
• RQ3 格罗滕迪克不等式能否用于推导核聚类的紧致近似保证？
• RQ4 在标准复杂性理论假设下，近似比 R(B)²/C(B) 是否最优？
• RQ5 改进 R(B)²/C(B) 近似比的计算复杂度是多少？

主要发现

• 所提出的算法实现了 R(B)²/C(B) 的近似比，该比值在唯一游戏猜想下已达到最优（至多 (1−ε) 因子）。
• 比值 R(B)²/C(B) 仅依赖于核矩阵 B，因此是问题结构的内在属性，与数据规模 n 无关。
• 本文证明，将近似比改进至 (1−ε)R(B)²/C(B) 以下为唯一游戏难题，表明该界是紧致的。
• 分析揭示了核聚类与格罗滕迪克不等式之间存在深刻联系，将经典结果推广至核设置。
• 该算法在多项式时间内运行，使其适用于具有结构化核矩阵的大规模聚类任务。
• 研究结果以 B 的几何不变量为基准，完整刻画了核聚类问题的可近似性。