[论文解读] Same-Cluster Querying for Overlapping Clusters

Wasim Huleihel, Arya Mazumdar+2 more|arXiv (Cornell University)|Oct 28, 2019

Data Management and Algorithms被引用 6

一句话总结

该论文提出了一套高效算法，通过自适应的同簇查询恢复重叠聚类，其中每个查询可判断两个元素是否属于同一簇。在最坏情况和统计模型下，该方法提供了阶最优的查询复杂度界，具备可证明的唯一性保证和对噪声的鲁棒性，并在合成数据和真实世界数据上展示了实际有效性。

ABSTRACT

Overlapping clusters are common in models of many practical data-segmentation applications. Suppose we are given $n$ elements to be clustered into $k$ possibly overlapping clusters, and an oracle that can interactively answer queries of the form "do elements $u$ and $v$ belong to the same cluster?" The goal is to recover the clusters with minimum number of such queries. This problem has been of recent interest for the case of disjoint clusters. In this paper, we look at the more practical scenario of overlapping clusters, and provide upper bounds (with algorithms) on the sufficient number of queries. We provide algorithmic results under both arbitrary (worst-case) and statistical modeling assumptions. Our algorithms are parameter free, efficient, and work in the presence of random noise. We also derive information-theoretic lower bounds on the number of queries needed, proving that our algorithms are order optimal. Finally, we test our algorithms over both synthetic and real-world data, showing their practicality and effectiveness.

研究动机与目标

• 解决使用最少自适应同簇查询将 n 个元素聚类为 k 个重叠簇的挑战。
• 在最坏情况和统计假设下，为恢复重叠聚类结构提供查询复杂度的理论保证。
• 确保在实际部署中对随机噪声的鲁棒性以及无需参数调节的运行特性。
• 建立信息论下界，并证明所提算法为阶最优。
• 通过在合成数据和真实世界数据集上的实验，验证方法的实际有效性。

提出的方法

• 使用一个预言机，回答两个元素是否属于同一簇，返回一个二值响应矩阵。
• 设计自适应查询策略，在确保恢复真实聚类结构的同时最小化总查询次数。
• 利用相似性矩阵 AAT，其中 A 是 n×k 的聚类指示矩阵，以推断簇成员关系。
• 提出一种基于采样的方法：随机选取元素子集 S，并查询 S 内所有元素对，以恢复局部簇结构。
• 对于 S 外的元素，将其与 S 中所有元素进行查询，根据正向响应确定其簇成员关系。
• 证明在每个簇具有唯一非共享核心（即 Ni \ ∪j≠i Nj ≠ ∅）的条件下，聚类具有唯一性。

实验结果

研究问题

• RQ1 恢复重叠聚类所需的最少自适应同簇查询数量是多少？
• RQ2 在何种条件下，可从查询响应中唯一恢复真实聚类结构？
• RQ3 如何设计算法以在保持无参数和高效性的同时对随机噪声具有鲁棒性？
• RQ4 重叠聚类的查询复杂度的信息论下界是什么？
• RQ5 所提算法是否能在最坏情况和统计模型下均实现阶最优的查询复杂度？

主要发现

• 所提算法实现了阶最优的查询复杂度，与信息论下界仅相差对数因子。
• 在每个簇具有唯一非共享核心（Ni \ ∪j≠i Nj ≠ ∅）的条件下，真实聚类可从查询响应中唯一恢复。
• 基于采样的策略在采样大小 |S| = (log n + log k)/α 时，以高概率实现 O(k log n) 次查询即可恢复聚类结构。
• 算法对随机噪声具有鲁棒性，且无需参数调优。
• 在合成数据和真实世界数据上的实证评估验证了所提方法的实际可行性和有效性。
• 理论分析表明，若一个簇是另一个簇的子集（Np ⊂ Nq），则真实聚类无法被恢复，从而确立了可识别性的必要条件。