[论文解读] Shallow decision trees for explainable $k$-means clustering

Eduardo Sany Laber, Lucas Murtinho+1 more|arXiv (Cornell University)|Dec 29, 2021

Rough Sets and Fuzzy Logic被引用 6

一句话总结

本文提出 ExShallow，一种用于可解释 $k$-means 聚类的高效算法，通过构建浅层决策树，同时最小化 $k$-means 代价和可解释性度量（如加权平均深度 WAD 与加权平均解释大小 WAES）。该方法在保持聚类质量相当或更优的同时，显著降低了树的深度，从而在不牺牲性能的前提下提升了可解释性。

ABSTRACT

A number of recent works have employed decision trees for the construction of explainable partitions that aim to minimize the $k$-means cost function. These works, however, largely ignore metrics related to the depths of the leaves in the resulting tree, which is perhaps surprising considering how the explainability of a decision tree depends on these depths. To fill this gap in the literature, we propose an efficient algorithm that takes into account these metrics. In experiments on 16 datasets, our algorithm yields better results than decision-tree clustering algorithms such as the ones presented in \cite{dasgupta2020explainable}, \cite{frost2020exkmc}, \cite{laber2021price} and \cite{DBLP:conf/icml/MakarychevS21}, typically achieving lower or equivalent costs with considerably shallower trees. We also show, through a simple adaptation of existing techniques, that the problem of building explainable partitions induced by binary trees for the $k$-means cost function does not admit an $(1+ε)$-approximation in polynomial time unless $P=NP$, which justifies the quest for approximation algorithms and/or heuristics.

研究动机与目标

• 为解决先前研究中对可解释决策树聚类中叶节点深度度量关注不足的问题，此类度量直接影响模型的可解释性。
• 开发一种算法，同时最小化 $k$-means 代价与可解释性度量（如 WAD 与 WAES）。
• 通过参数 $\lambda$ 实现聚类质量与树深之间的可调制权衡。
• 通过生成更低代价与显著更浅的树，超越现有可解释聚类算法。
• 在提升 $k$-means 聚类可解释性的同时，确保计算效率。

提出的方法

• 该算法自顶向下构建决策树，起始于通过 Lloyd 算法获得的不可解释 $k$-means 聚类划分。
• 在每个节点上，选择一个分割（维度与阈值），通过可调参数 $\lambda$ 平衡 $k$-means 代价、WAD 与 WAES 的权衡。
• 提出一种高效的评估方法，用于估算潜在分割对 WAD 与 WAES 的影响，从而实现对次优分裂的快速剪枝。
• 采用加权代价函数，结合聚类代价与基于深度的可解释性度量，实现可控的权衡。
• 对每个数据集使用二分查找优化 $\lambda$，确保在代价与可解释性方面均优于基线方法。
• 该方法设计为计算高效，运行时间与其它最先进的可解释聚类算法相当。

实验结果

研究问题

• RQ1 我们能否设计一种可解释聚类算法，同时最小化 $k$-means 代价与叶节点深度度量（如 WAD 与 WAES）？
• RQ2 引入基于深度的可解释性度量如何影响基于决策树的聚类在性能与可解释性方面的表现？
• RQ3 我们能否在不降低聚类质量的前提下，实现优于现有方法的可解释性？
• RQ4 调节权衡参数 $\lambda$ 对聚类代价与树深之间平衡的影响是什么？
• RQ5 所提出的算法在计算效率上是否足够高，足以在真实世界数据集中实际应用？

主要发现

• 在 16 个数据集上，ExShallow 实现的 $k$-means 代价与现有最佳方法相当或更优，且 WAES 与 WAD 显著提升。
• 在 Avila 数据集上，ExShallow 将 WAES 从 5.4（ExGreedy）降低至 3.7，WAD 从 6.2 降低至 3.8，显著提升了可解释性。
• 经优化 $\lambda$ 的 ExShallow 在 16 个数据集中的 10 个上实现了低于 KMC 的归一化划分代价（NPC），同时提升了 WAES 与 WAD。
• 该算法实现了 1.15 的中位数归一化划分代价，优于 ExGreedy（1.17）与 IMM（1.16），且 WAES（3.35 对比 3.63）与 WAD（3.58 对比 3.72）显著更低。
• 运行时间具有竞争力，ExShallow 平均耗时（2.65 秒）接近 ExGreedy（3.81 秒），且快于 IMM（3.22 秒），适用于真实世界应用。
• ExShallow 在可解释性度量上始终优于 ExGreedy 与 IMM，同时在聚类质量上匹配或超越二者，充分证明其在代价与可解释性之间平衡的优越性。