[论文解读] Optimal Rates for Cluster Tree Estimation using Kernel Density Estimators

Daren Wang, Xinyang Lu+1 more|arXiv (Cornell University)|Jun 9, 2017

Statistical Methods and Inference被引用 4

一句话总结

该论文在 Hölder 平滑性假设下，通过核密度估计器建立了估计概率密度聚类树的极小极大最优速率。它提出了一种基于核平滑的速率最优估计器，带宽选择针对平滑度参数 α 进行优化，并表明当 α ≤ 1 或密度为 Morse 型且 α = 2 时，DBSCAN 可实现最优速率。

ABSTRACT

We study the problem of optimal estimation of the density cluster tree under various assumptions on the underlying density. Following up on the seminal work of Chaudhuri et al, we formulate a new notion of clustering consistency which is better suited to smooth densites, and derive minimax rates of consistency for cluster tree estimation for H\{o}lder smooth density of arbitary degree $\alpha$. Our rates depend explicitly in the degree of smoothness of the density and match minimax rates for density estimation under the supremum norm. We exhibit a rate optimal cluster tree estimator, which is derived from a kernel density estimator with an appropaiete choice of the kernel and the bandwidth, assuming knowledge of $\alpha$. We also show that the computationally efficient DBSCAN algorithm achieves the optimal rate for clustering when $\alpha\le 1$ and that a simple variant of the DBSCAN algorithm, is also optimal when the density is Morse and $\alpha =2 $. We also derive minimax rates for estimaing the level sets of density with jump discontinuities of prescribed size and demonstrate that a DBSCAN-based algorithm is also rate optimal for this problem.

研究动机与目标

• 为平滑密度定义一种新的聚类一致性概念。
• 推导任意平滑度参数 α 下聚类树估计的极小极大速率。
• 基于最优核函数与带宽选择，构建一种速率最优的聚类树估计器。
• 分析 DBSCAN 及其变体在特定平滑性与结构假设下实现最优速率的性能。
• 将极小极大分析扩展至具有密度跃迁间断点的水平集估计。

提出的方法

• 提出一种考虑底层密度平滑性的新聚类一致性定义。
• 推导在 Hölder 平滑度为 α 的假设下聚类树估计的极小极大下界。
• 构建一种带宽选择依赖于 α 的核密度估计器，以实现最优收敛速率。
• 证明最优估计器在上确范数下与密度估计的极小极大速率一致。
• 在平滑性与 Morse 条件假设下分析 DBSCAN 及其变体，证明其速率最优性。
• 将相同的极小极大框架应用于具有不连续密度的水平集估计，表明基于 DBSCAN 的方法为速率最优。

实验结果

研究问题

• RQ1 在 Hölder 平滑度为 α 的条件下，聚类树估计的最优收敛速率是什么？
• RQ2 所提出的聚类一致性概念相较于以往定义在平滑密度下有何改进？
• RQ3 在平滑性条件下，DBSCAN 能否实现聚类树估计的极小极大最优速率？
• RQ4 具有跃迁间断点的密度水平集估计的极小极大速率是多少？
• RQ5 密度的结构（如 Morse 条件）如何影响 DBSCAN 在聚类树估计中的最优性？

主要发现

• 聚类树估计的极小极大速率与在上确范数下密度估计的极小极大速率一致，且显式依赖于 Hölder 平滑度参数 α。
• 当 α 已知时，带宽与 n^{-1/(2α+d)} 成比例的核密度估计器可实现最优速率。
• 当密度为 Hölder 平滑且 α ≤ 1 时，DBSCAN 实现了聚类树估计的最优速率。
• 当密度为 Morse 型且 α = 2 时，经修改的 DBSCAN 变体可实现最优速率。
• 推导出具有跃迁间断点的密度水平集估计的极小极大速率，并证明基于 DBSCAN 的算法为速率最优。
• 所提出的聚类一致性概念相较于以往定义更适用于平滑密度，可实现更紧密的速率分析。