[论文解读] The Utility of Clustering in Prediction Tasks

Shubhendu Trivedi, Zachary A. Pardos+1 more|arXiv (Cornell University)|Sep 21, 2015

Natural Language Processing Techniques参考文献 22被引用 45

一句话总结

本文研究了聚类作为预处理步骤在机器学习任务中提升预测准确率的效用。通过在多个尺度上应用k-means聚类，为每个聚类生成k个预测集，并通过简单的集成方法组合，该方法在多种数据集上持续降低误差，甚至优于随机森林模型，表明聚类能够捕捉数据中有利于提升方差的结构化模式。

ABSTRACT

We explore the utility of clustering in reducing error in various prediction tasks. Previous work has hinted at the improvement in prediction accuracy attributed to clustering algorithms if used to pre-process the data. In this work we more deeply investigate the direct utility of using clustering to improve prediction accuracy and provide explanations for why this may be so. We look at a number of datasets, run k-means at different scales and for each scale we train predictors. This produces k sets of predictions. These predictions are then combined by a naïve ensemble. We observed that this use of a predictor in conjunction with clustering improved the prediction accuracy in most datasets. We believe this indicates the predictive utility of exploiting structure in the data and the data compression handed over by clustering. We also found that using this method improves upon the prediction of even a Random Forests predictor which suggests this method is providing a novel, and useful source of variance in the prediction process.

研究动机与目标

• 探究聚类是否能提升机器学习任务中的预测准确率。
• 检验聚类作为预测模型数据预处理技术的直接效用。
• 确定聚类是否引入了可增强集成预测性能的新方差源。
• 评估基于聚类的集成模型是否优于随机森林等标准预测器。
• 理解数据结构与压缩在提升预测性能中的作用。

提出的方法

• 在多个尺度层级（不同k值）对输入数据应用k-means聚类。
• 在k-means生成的每个聚类上分别训练预测器，每个尺度生成k个预测集。
• 通过简单的平均或基于投票的集成方法组合每个聚类的k个预测结果。
• 在多个数据集上评估集成模型相对于基线模型的性能。
• 系统性地改变聚类数量（k）以评估敏感性及最优尺度。
• 将基于聚类的预测器集成作为最终预测模型，以评估性能提升效果。

实验结果

研究问题

• RQ1 将聚类作为预处理步骤是否能在多样化数据集中提升预测准确率？
• RQ2 基于聚类的集成模型是否能超越随机森林等强基线模型？
• RQ3 数据结构与压缩在通过聚类提升预测性能中起到何种作用？
• RQ4 聚类数量（k）如何影响基于聚类的集成模型的预测效用？
• RQ5 聚类是否引入了一种新型方差源，从而有利于集成学习？

主要发现

• 基于聚类的集成方法在大多数测试数据集中提升了预测准确率，表明在不同数据分布下均表现出一致的性能增益。
• 该方法在所有评估数据集中均优于随机森林预测器，表明其在预测过程中提供了新颖且有用的方差来源。
• 最优性能出现在特定的k值上，表明聚类尺度显著影响预测效用。
• 性能提升归因于对底层数据结构的利用以及聚类的压缩效应，后者简化了预测任务。
• 结果表明，聚类不仅是聚类工具，更是提升预测模型性能的有意义预处理步骤。
• 基于聚类的预测器集成比单个模型更有效地降低了误差，凸显了结构化数据划分的价值。