[论文解读] The Effect of Structural Diversity of an Ensemble of Classifiers on Classification Accuracy

Lesedi Masisi, Fulufhelo V. Nelwamondo+1 more|ArXiv.org|Apr 30, 2008

Neural Networks and Applications参考文献 17被引用 12

一句话总结

本文研究了由9个神经网络分类器组成的集成模型中结构多样性对分类准确率的影响。通过遗传算法演化多样化架构（包括隐藏层节点数、学习率和激活函数的差异），研究发现准确率随多样性提升而提高，直至达到0.16的多样性度量值时达到峰值，此时均方误差为0.274，此后性能开始下降。

ABSTRACT

This paper aims to showcase the measure of structural diversity of an ensemble of 9 classifiers and then map a relationship between this structural diversity and accuracy. The structural diversity was induced by having different architectures or structures of the classifiers The Genetical Algorithms (GA) were used to derive the relationship between diversity and the classification accuracy by evolving the classifiers and then picking 9 classifiers out on an ensemble of 60 classifiers. It was found that as the ensemble became diverse the accuracy improved. However at a certain diversity measure the accuracy began to drop. The Kohavi-Wolpert variance method is used to measure the diversity of the ensemble. A method of voting is used to aggregate the results from each classifier. The lowest error was observed at a diversity measure of 0.16 with a mean square error of 0.274, when taking 0.2024 as maximum diversity measured. The parameters that were varied were: the number of hidden nodes, learning rate and the activation function.

研究动机与目标

• 研究集成学习中结构多样性与分类准确率之间的关系。
• 探讨通过隐藏层节点数、学习率和激活函数变化神经网络架构对集成性能的影响。
• 确定能最大化分类准确率的结构多样性最优水平。
• 评估Kohavi-Wolpert方差方法在测量集成内部多样性方面的有效性。
• 确定增加多样性开始降低分类性能的临界点。

提出的方法

• 使用遗传算法演化出60种具有不同架构的神经网络分类器。
• 从60个分类器中根据多样性和性能标准选取9个组成集成模型。
• 通过调整三个关键超参数（隐藏层节点数、学习率和激活函数）来引入结构多样性。
• 应用Kohavi-Wolpert方差方法量化集成的多样性。
• 采用投票机制聚合各分类器的预测结果，生成最终的集成输出。
• 使用均方误差评估分类准确率，多样性在归一化尺度上最高测量至0.2024。

实验结果

研究问题

• RQ1 神经网络分类器集成中的结构多样性如何影响整体分类准确率？
• RQ2 在神经网络集成中，使分类准确率达到最大的结构多样性最优水平是什么？
• RQ3 在什么点上，继续增加结构多样性开始降低分类性能？
• RQ4 Kohavi-Wolpert方差方法在捕捉神经网络集成中有意义的多样性方面有多有效？
• RQ5 在隐藏层节点数、学习率和激活函数中，哪个超参数对结构多样性和准确率的影响最大？

主要发现

• 分类准确率随结构多样性提升而增加，直至多样性度量达到0.16时达到峰值。
• 在多样性度量为0.16时，实现了最低的均方误差0.274，表明性能达到最优。
• 当多样性度量超过0.16后，分类准确率开始下降，表明多样性与性能之间存在权衡。
• 实验中测得的最大多样性为0.2024，作为多样性量表的上限。
• 研究证实结构多样性显著影响集成准确率，且存在明显的非线性关系。
• Kohavi-Wolpert方差方法有效捕捉了多样性趋势，支持其在评估集成异质性中的应用。