[论文解读] Top-down induction of clustering trees

Hendrik Blockeel, Luc De Raedt+1 more|ArXiv.org|Nov 21, 2000

Data Mining Algorithms and Applications参考文献 19被引用 398

一句话总结

本文提出TIC（自顶向下聚类树归纳），一种一阶聚类系统，通过使用基于距离的原型，将自顶向下决策树归纳方法适应于无监督学习，递归地将数据划分为聚类。该方法通过利用逻辑决策树表示聚类定义，并使用距离度量指导分裂划分，在聚类、回归和分类任务中均表现出具有竞争力的性能，即使在存在缺失数据的情况下也表现良好。

ABSTRACT

An approach to clustering is presented that adapts the basic top-down induction of decision trees method towards clustering. To this aim, it employs the principles of instance based learning. The resulting methodology is implemented in the TIC (Top down Induction of Clustering trees) system for first order clustering. The TIC system employs the first order logical decision tree representation of the inductive logic programming system Tilde. Various experiments with TIC are presented, in both propositional and relational domains.

研究动机与目标

• 开发一种一阶聚类系统，将自顶向下的决策树归纳推广至无监督学习。
• 通过使用逻辑决策树表示，实现在关系型和命题型数据域中的聚类。
• 评估该系统在聚类、回归和分类任务中的性能表现。
• 通过比较仅使用类别信息的距离度量与使用多个属性的距离度量，评估其对缺失数据的鲁棒性。
• 通过一阶树结构提供逻辑清晰、人类可读的聚类描述。

提出的方法

• TIC系统采用自顶向下的分裂方法，通过聚类原型之间的距离度量，递归地将数据划分为聚类。
• 每个聚类由其样本计算出的原型表示，聚类间距离则由这些原型之间的距离推导得出。
• 该算法在每个节点基于最大化聚类间距离来选择测试，将TDIDT启发式方法适配于聚类任务。
• 系统采用一阶逻辑决策树表示聚类，支持测试中的存在量词和关系结构。
• 通过调整距离函数，系统可在监督和无监督模式间切换——使用类别标签或多个属性。
• 引入一种剪枝方法，以提高聚类树的泛化能力并防止过拟合。

实验结果

研究问题

• RQ1 能否通过用聚类表示替代类别标签，有效将自顶向下决策树归纳方法适配于聚类任务？
• RQ2 与仅使用类别信息相比，距离函数中使用多个属性在性能和对缺失数据的鲁棒性方面有何影响？
• RQ3 生成的聚类树能否在关系型数据中提供有意义且逻辑清晰的聚类描述？
• RQ4 在聚类、回归和分类任务中，TIC与现有聚类系统在预测准确性方面相比如何？
• RQ5 剪枝对聚类树泛化性能有何影响？

主要发现

• 在Soybean数据集上，当同时预测所有属性时，TIC的预测准确率达到81.6%，表明其在多属性预测中表现优异。
• 在50%数据缺失的情况下，仅使用类别信息时TIC的分类准确率为0.78，使用三个数值属性时提升至0.79，表明更丰富的距离度量可提高鲁棒性。
• 在仅10%数据可用时，仅类别距离的准确率降至0.67，而多属性距离的准确率则为0.74，证实更多特征可缓解性能下降。
• TIC成功使用同一框架完成聚类、回归和分类任务，凸显其多功能性。
• 剪枝的引入提升了模型的泛化能力，且系统生成了可解释的一阶逻辑聚类描述。
• 与纯类别信息的距离度量相比，TIC在缺失数据下的鲁棒性更优，验证了在距离函数中使用多属性的合理性。