[论文解读] Nearest-Neighbour-Induced Isolation Similarity and its Impact on Density-Based Clustering

Xiaoyu Qin, Kai Ming Ting+2 more|arXiv (Cornell University)|Jun 30, 2019

Advanced Clustering Algorithms Research参考文献 30被引用 12

一句话总结

本文提出一种基于最近邻的隔离相似度方法，用于替代DBSCAN中的距离度量，在不同密度分布的数据集上显著提升了聚类性能。该方法形式化证明了相似度的特性，引入了质量连通聚类，并表明使用该相似度的DBSCAN优于当前最先进的DP算法。

ABSTRACT

A recent proposal of data dependent similarity called Isolation Kernel/Similarity has enabled SVM to produce better classification accuracy. We identify shortcomings of using a tree method to implement Isolation Similarity; and propose a nearest neighbour method instead. We formally prove the characteristic of Isolation Similarity with the use of the proposed method. The impact of Isolation Similarity on density-based clustering is studied here. We show for the first time that the clustering performance of the classic density-based clustering algorithm DBSCAN can be significantly uplifted to surpass that of the recent density-peak clustering algorithm DP. This is achieved by simply replacing the distance measure with the proposed nearest-neighbour-induced Isolation Similarity in DBSCAN, leaving the rest of the procedure unchanged. A new type of clusters called mass-connected clusters is formally defined. We show that DBSCAN, which detects density-connected clusters, becomes one which detects mass-connected clusters, when the distance measure is replaced with the proposed similarity. We also provide the condition under which mass-connected clusters can be detected, while density-connected clusters cannot.

研究动机与目标

• 解决基于树的方法在诱导隔离相似度时的局限性，这些方法未能正确捕捉局部密度结构。
• 克服DBSCAN对参数设置的敏感性及其在不同密度区域中检测聚类的能力不足。
• 形式化定义质量连通聚类，作为异质密度分布数据集中优于密度连通聚类的替代方案。
• 证明在DBSCAN中用最近邻诱导的隔离相似度替代距离度量，可显著提升聚类准确率，超越当前最先进的方法（如DP）。
• 建立一个理论基础坚实、数据自适应的相似度度量，反映人类对稀疏区域与密集区域相似性的直觉感知。

提出的方法

• 用基于最近邻的方法（aNNE）替代基于树的隔离划分，以诱导隔离相似度，利用k-最近邻估计相似度。
• 将隔离相似度定义为：在随机采样下，两点落入同一隔离分区的概率，通过划分的期望进行形式化表达。
• 证明所提出的相似度满足关键特性：在稀疏区域的点比在密集区域中距离相等的点具有更高的相似度。
• 引入质量连通聚类，其定义为通过高相似度而非邻近性连接的点构成的聚类，从而在复杂密度结构中实现更优的检测能力。
• 通过将距离度量替换为所提出的隔离相似度，实现MBSCAN（改进的DBSCAN），同时保留DBSCAN的其余逻辑。
• 利用GPU加速的aNNE实现高效相似度计算，实现与ψ无关的近似恒定运行时间，优于iForest的O(ψ²)复杂度。

实验结果

研究问题

• RQ1 基于最近邻的方法是否能比iForest等基于树的方法更好地诱导隔离相似度，特别是在捕捉局部密度变化方面？
• RQ2 所提出的隔离相似度是否在形式上满足期望特性：即在稀疏区域的点相比在密集区域中距离相等的点具有更高的相似度？
• RQ3 在不同密度分布的数据集中，用所提出的隔离相似度替代DBSCAN中的距离度量，是否能显著提升聚类性能？
• RQ4 质量连通聚类在何种条件下可被检测到？其相较于密度连通聚类在哪些场景下具有优势？
• RQ5 使用所提出相似度的MBSCAN在性能上与当前最先进的基于密度的聚类算法（如DP、ReScale和DScale）相比如何？

主要发现

• 所提出的基于最近邻的隔离相似度（通过aNNE实现）在准确率和效率上均优于基于树的iForest，尤其在高维和密度多变的数据集中表现更优。
• 使用aNNE生成的隔离相似度的MBSCAN在所有测试数据集上显著优于DP算法，实现了更高的聚类准确率。
• 显著性检验（Nemenyi事后检验）证实，使用aNNE的MBSCAN显著优于DP和基于iForest的MBSCAN，而DP与iForest-based MBSCAN之间无显著差异。
• aNNE的实现速度比iForest在大规模数据集上快一个数量级，且在GPU加速下，运行时间几乎不随ψ变化。
• 计算相异度矩阵的预处理步骤主导了MBSCAN的运行时间，但由于aNNE计算高效，整体仍具可操作性。
• 形式化证明表明，所提出的隔离相似度满足关键特性：稀疏区域中的点比距离相等但位于密集区域的点具有更高的相似度，验证了其数据自适应特性。