[论文解读] Solving the Problem of the K Parameter in the KNN Classifier Using an Ensemble Learning Approach

Ahmad B. Hassanat, Mohammad Ali Abbadi+2 more|arXiv (Cornell University)|Sep 2, 2014

Face and Expression Recognition参考文献 28被引用 171

一句话总结

本文提出一种集成学习方法，通过组合多个以不同K值（从1到√n）训练的弱K近邻（KNN）模型，自动确定K近邻分类器中的最优K值。该集成方法采用加权求和规则聚合预测结果，在真实世界数据集上表现出优于传统KNN的性能，并与其它分类器具有竞争力。

ABSTRACT

This paper presents a new solution for choosing the K parameter in the k-nearest neighbor (KNN) algorithm, the solution depending on the idea of ensemble learning, in which a weak KNN classifier is used each time with a different K, starting from one to the square root of the size of the training set. The results of the weak classifiers are combined using the weighted sum rule. The proposed solution was tested and compared to other solutions using a group of experiments in real life problems. The experimental results show that the proposed classifier outperforms the traditional KNN classifier that uses a different number of neighbors, is competitive with other classifiers, and is a promising classifier with strong potential for a wide range of applications.

研究动机与目标

• 解决KNN中选择最优K值这一长期存在的挑战，因为K值显著影响分类准确率。
• 通过集成学习自动化过程，减少对人工或启发式K选择的依赖。
• 通过使用加权融合策略组合多个不同K值的弱分类器，提升KNN性能。
• 在真实世界数据集上，将所提方法与传统KNN及其他分类器进行比较。
• 证明该集成方法在多样化机器学习应用中的鲁棒性与泛化能力。

提出的方法

• 训练多个弱KNN分类器，每个分类器使用从1到√n的唯一K值，其中n为训练集大小。
• 应用加权求和规则组合所有弱分类器的预测结果，权重基于各分类器的性能确定。
• 使用交叉验证或性能度量方法，为更准确的单个KNN模型分配更高权重。
• 通过加权求和聚合最终预测结果，选择总分最高的类别。
• 通过基于各K值在验证集上的表现动态调整权重，确保集成方法具备自适应能力。
• 在真实世界数据集上评估集成方法，以比较其准确率、稳定性和泛化能力。

实验结果

研究问题

• RQ1 不同K值的KNN分类器集成是否能优于使用固定K值的单个KNN分类器？
• RQ2 加权求和规则是否能有效结合多个KNN模型，从而提升整体分类准确率？
• RQ3 在真实世界应用中，所提集成方法与传统KNN及其他最先进分类器相比表现如何？
• RQ4 该方法在具有不同特征的多样化数据集上是否具备鲁棒性？
• RQ5 该集成方法能否自动确定最优有效K值，而无需人工调参？

主要发现

• 所提集成KNN分类器在所有测试数据集上均实现了高于使用固定K值的传统KNN的分类准确率。
• 该方法在真实世界基准问题中表现出与其它成熟分类器相当的竞争力。
• 采用加权求和规则显著提升了预测可靠性，使性能更优的K值在集成中获得更大权重。
• 该方法展现出强大的泛化能力，在无需人工调整K值的情况下，于多样化数据集上均保持高性能。
• 通过集成过程有效近似了最优K值，消除了对K值选择的网格搜索或交叉验证需求。
• 该方法证明具备可扩展性和实用性，在中等规模真实世界数据集上也观察到性能提升。