[论文解读] Nearly-Tight and Oblivious Algorithms for Explainable Clustering

Buddhima Gamlath, Xinrui Jia+2 more|arXiv (Cornell University)|Jun 30, 2021

Explainable Artificial Intelligence (XAI)参考文献 14被引用 7

一句话总结

本文提出了一种简单且无偏见的可解释聚类算法，实现了近乎紧致的近似保证：对于 $k$-medians 为 $O("log^2 k)$，对于 $k$-means 为 $O(k\log^2 k)$，几乎匹配 $k$-means 的新 $\Omega(k)$ 下界。该算法仅使用参考聚类中心构建决策树，运行时间 $O(dk\log^2 k)$ 与数据量 $n$ 无关，且确保不会对训练数据过拟合。

ABSTRACT

We study the problem of explainable clustering in the setting first formalized by Dasgupta, Frost, Moshkovitz, and Rashtchian (ICML 2020). A $k$-clustering is said to be explainable if it is given by a decision tree where each internal node splits data points with a threshold cut in a single dimension (feature), and each of the $k$ leaves corresponds to a cluster. We give an algorithm that outputs an explainable clustering that loses at most a factor of $O(\log^2 k)$ compared to an optimal (not necessarily explainable) clustering for the $k$-medians objective, and a factor of $O(k \log^2 k)$ for the $k$-means objective. This improves over the previous best upper bounds of $O(k)$ and $O(k^2)$, respectively, and nearly matches the previous $Ω(\log k)$ lower bound for $k$-medians and our new $Ω(k)$ lower bound for $k$-means. The algorithm is remarkably simple. In particular, given an initial not necessarily explainable clustering in $\mathbb{R}^d$, it is oblivious to the data points and runs in time $O(dk \log^2 k)$, independent of the number of data points $n$. Our upper and lower bounds also generalize to objectives given by higher $\ell_p$-norms.

研究动机与目标

• 为聚类中可解释性代价的已知上下界之间的差距提供填补。
• 设计一种简单、快速且与数据无关的算法，通过决策树构建可解释聚类。
• 为 $\ell_p$-范数目标（包括 $k$-medians 和 $k$-means）建立近乎紧致的近似保证。
• 证明 $k$-means 的新 $\Omega(k)$ 下界，优于先前的 $\Omega(\log k)$ 下界。
• 确保算法对数据点无偏见，防止过拟合并实现对未见数据的泛化。

提出的方法

• 该算法通过在特征维度上随机采样阈值切分来构建阈值树，使用针对 $\ell_p$-范数目标定制的分布。
• 仅基于 $k$ 个参考聚类中心运行，不依赖数据点，因此对数据集无偏见，且对过拟合免疫。
• 基于线段树的数据结构可实现 $O(dk\log^2 k)$ 时间内从 $k$ 个中心高效采样区间。
• 线段树被增强以支持常数时间的部分和查询，从而优化采样过程。
• 通过反复采样阈值切分，直到所有 $k$ 个中心位于不同的叶节点，确保所有中心被分离。
• 该方法可推广至任意 $\ell_p$-范数目标，近似因子为 $O(k^{p-1}\log^2 k)$。

实验结果

研究问题

• RQ1 使用决策树进行可解释的 $k$-medians 和 $k$-means 聚类，所能达到的最佳近似比是多少？
• RQ2 一种简单且无偏见的算法是否能在不访问完整数据集的情况下实现近乎紧致的界？
• RQ3 $\ell_p$-范数目标的可解释性内在成本是多少，其随 $k$ 的增长如何变化？
• RQ4 $k$-means 聚类的 $O(k)$ 上界是否紧致，或可进一步改进？
• RQ5 能否为 $k$-means 建立 $\Omega(k)$ 的下界，以匹配改进后的上界？

主要发现

• 所提算法对 $k$-medians 目标实现了 $O(\log^2 k)$ 的近似比，优于先前的 $O(k)$ 上界。
• 对于 $k$-means 目标，该算法实现了 $O(k\log^2 k)$ 的近似比，优于先前的 $O(k^2)$ 上界。
• 为 $k$-means 证明了新的 $\Omega(k)$ 下界，表明 $O(k\log^2 k)$ 上界近乎紧致。
• 该算法运行时间为 $O(dk\log^2 k)$，与数据点数量 $n$ 无关，具有高度可扩展性。
• 该算法对数据点无偏见，意味着不会过拟合，且能对未见数据实现相同的期望代价保证。
• 结果可推广至所有 $\ell_p$-范数目标，近似因子为 $O(k^{p-1}\log^2 k)$。