[论文解读] Semi-Supervised Active Clustering with Weak Oracles

Taewan Kim, Joydeep Ghosh|arXiv (Cornell University)|Sep 11, 2017

Advanced Clustering Algorithms Research参考文献 8被引用 4

一句话总结

本文提出了一种半监督主动聚类框架，可处理弱预言机——即在因不确定而可能拒绝回答成对'同簇'查询的领域专家。通过建模随机性和基于距离的弱预言机行为，作者开发了算法，在 $γ$-margin 条件及簇中心附近存在点的前提下，保持低查询复杂度和高聚类准确率，当簇间距较紧时，显著减少了所需查询次数。

ABSTRACT

Semi-supervised active clustering (SSAC) utilizes the knowledge of a domain expert to cluster data points by interactively making pairwise "same-cluster" queries. However, it is impractical to ask human oracles to answer every pairwise query. In this paper, we study the influence of allowing "not-sure" answers from a weak oracle and propose algorithms to efficiently handle uncertainties. Different types of model assumptions are analyzed to cover realistic scenarios of oracle abstraction. In the first model, random-weak oracle, an oracle randomly abstains with a certain probability. We also proposed two distance-weak oracle models which simulate the case of getting confused based on the distance between two points in a pairwise query. For each weak oracle model, we show that a small query complexity is adequate for the effective $k$ means clustering with high probability. Sufficient conditions for the guarantee include a $γ$-margin property of the data, and an existence of a point close to each cluster center. Furthermore, we provide a sample complexity with a reduced effect of the cluster's margin and only a logarithmic dependency on the data dimension. Our results allow significantly less number of same-cluster queries if the margin of the clusters is tight, i.e. $γ\approx 1$. Experimental results on synthetic data show the effective performance of our approach in overcoming uncertainties.

研究动机与目标

• 为解决在主动聚类中要求人类专家提供完美响应不切实际的问题，允许其回答'不确定'。
• 建模现实中的弱预言机行为，包括基于固定概率的随机回避和基于点间距离的混淆。
• 即使在预言机响应存在不确定性的情况下，仍保持低查询复杂度和高聚类准确率。
• 在最小假设下提供聚类恢复的理论保证，例如 $γ$-margin 性质和点接近簇中心的条件。
• 将 SSAC 框架扩展至在存在不完美、不确定的监督信息时仍能高效运行，同时保持概率恢复保证。

提出的方法

• 提出两种弱预言机模型：随机弱型（以固定概率回避）和距离弱型（根据簇内或簇间点间距离决定是否回避）。
• 将 SSAC 算法的两阶段结构——簇中心估计后接半径估计——进行适应性调整，使用改进的二分查找以处理'不确定'响应。
• 利用矩阵集中不等式推导出依赖于 $γ$-margin 和数据维度的查询复杂度上界。
• 将存在接近每个簇中心的点作为关键假设，以解决半径估计中的不确定性。
• 应用概率分析，确保在弱监督下以高概率恢复预言机的真实聚类。
• 整合两阶段的发现，为整个算法的成功提供统一的概率保证。

实验结果

研究问题

• RQ1 当预言机提供'不确定'响应而非确定的'是/否'答案时，半监督主动聚类是否仍能保持有效性？
• RQ2 预言机响应中的随机性或基于距离的不确定性如何影响查询复杂度和聚类准确率？
• RQ3 在弱监督下，哪些最小假设足以保证以高概率恢复真实聚类？
• RQ4 $γ$-margin 性质如何影响使用弱预言机进行准确聚类所需的查询数量？
• RQ5 在弱预言机模型下，簇中心附近的点是否存在能否缓解半径估计中的不确定性？

主要发现

• 当 $γ$-margin 较紧时（即 $γ \approx 1$），所提算法在显著降低查询复杂度的同时实现了高聚类准确率。
• 对于随机弱型预言机模型，增加采样和查询规模可高概率成功逼近簇中心和半径。
• 在距离弱型预言机下，只要每个簇中心附近至少存在一个点，即可实现对预言机聚类的可靠恢复。
• 样本复杂度仅对数据维度对数依赖，且在确保接近簇中心时对簇间距的敏感度降低。
• 实验结果表明，准确率极高（当 $\gamma \in [1.0, 1.1]$ 时高达 99.99%），即使在簇重叠情况下（$\gamma_{\min} = 0.6$）失败率也极低，$\eta = 50$ 时准确率超过 99%。
• 在非可分情况下 $\gamma_{\min} = 0.6$，准确率仍高于 98%，$\eta = 50$ 时失败率低，尽管存在簇重叠。