[论文解读] Rough extreme learning machine: a new classification method based on uncertainty measure

Lin Feng, Shuliang Xu+2 more|arXiv (Cornell University)|Oct 30, 2017

Machine Learning and ELM参考文献 41被引用 3

一句话总结

本文提出了一种新型分类方法——粗糙极限学习机（RELM），通过将粗糙集理论与极限学习机（ELM）相结合，以提升准确率并处理高维数据。RELM利用粗糙集将数据划分为上近似集和下近似集，在每个集合上分别训练神经元，并应用属性约简以消除冗余特征，从而在保持快速训练速度的同时，相比基线ELM及相关模型实现了更高的准确率与更强的稳定性。

ABSTRACT

Extreme learning machine (ELM) is a new single hidden layer feedback neural network. The weights of the input layer and the biases of neurons in hidden layer are randomly generated, the weights of the output layer can be analytically determined. ELM has been achieved good results for a large number of classification tasks. In this paper, a new extreme learning machine called rough extreme learning machine (RELM) was proposed. RELM uses rough set to divide data into upper approximation set and lower approximation set, and the two approximation sets are utilized to train upper approximation neurons and lower approximation neurons. In addition, an attribute reduction is executed in this algorithm to remove redundant attributes. The experimental results showed, comparing with the comparison algorithms, RELM can get a better accuracy and repeatability in most cases, RELM can not only maintain the advantages of fast speed, but also effectively cope with the classification task for high-dimensional data.

研究动机与目标

• 通过引入不确定性建模，解决传统ELM在处理噪声数据和高维数据时的局限性。
• 通过利用粗糙集理论进行数据近似与属性约简，提升分类准确率与泛化能力。
• 在保持ELM快速学习速度的同时，增强对冗余或无关特征的鲁棒性。
• 在多种数据集上评估RELM的性能，并与现有ELM变体及基线方法进行比较。

提出的方法

• RELM利用粗糙集理论，根据决策规则将训练数据划分为上近似集与下近似集。
• 在各自近似集上分别训练隐藏层神经元——上近似神经元与下近似神经元。
• 通过Moore-Penrose广义逆矩阵解析求解输出权重，保留ELM的快速学习特性。
• 应用属性约简以去除冗余特征，提升模型效率并减少过拟合。
• 最终分类决策通过融合上近似与下近似神经元的输出结果做出。
• 与标准ELM及一种名为URELM（基于不确定性的RELM）的变体进行性能对比。

Fig. 1: Rough set diagrammatic sketch

实验结果

研究问题

• RQ1 将粗糙集理论融入ELM是否能提升在高维与噪声数据集上的分类准确率与鲁棒性？
• RQ2 RELM在准确率与稳定性方面相较于标准ELM及其他ELM变体表现如何？
• RQ3 RELM中的属性约简在不降低分类性能的前提下，能在多大程度上降低特征维度？
• RQ4 与传统ELM及RS+BP相比，RELM的时间复杂度对数据维度增加的敏感性如何？

主要发现

• 在14个基准数据集上，RELM的平均准确率均高于URELM与标准ELM，其中在adult数据集上达到0.7563 ± 0.0233的均值，hepatitis数据集上达到0.7885 ± 0.0395。
• 在STAGGER数据集上，RELM实现了完美准确率（1.0000 ± 0.0000），优于URELM（0.9886 ± 0.0302）。
• 属性约简显著降低了特征维度——例如在Horse数据集中，特征数从26降至3（减少88.46%），在Germany数据集中从24降至7（减少70.83%）。
• RELM的时间开销随数据维度增加而上升，但远低于RS+BP，表明其具备更好的可扩展性与更低的维度敏感性。
• 在yeast与pima数据集上，RELM保持了稳定性能（分别为0.6623 ± 0.1245与0.5659 ± 0.0974），而URELM表现出更低的准确率与更高的方差。
• 尽管性能优异，RELM在部分数据集上（如Horse数据集，方差为0.1625）表现出更高的准确率方差，表明在某些条件下可能存在潜在不稳定性。

Fig. 2: The structure of RELM