[论文解读] Text classification based on ensemble extreme learning machine

Ming Li, Peilun Xiao+1 more|arXiv (Cornell University)|May 10, 2018

Machine Learning and ELM参考文献 23被引用 16

一句话总结

该论文提出AE1-WELM，一种集成极限学习机框架，通过结合代价敏感学习与基于信息熵的样本重要性度量，提升文本分类准确率，尤其在数据不平衡的情况下表现更优。通过将加权ELM嵌入AdaBoost.M1并结合词向量表示，该方法有效缓解了高维稀疏性问题，在基准文本分类任务中表现出色。

ABSTRACT

In this paper, we propose a novel approach based on cost-sensitive ensemble weighted extreme learning machine; we call this approach AE1-WELM. We apply this approach to text classification. AE1-WELM is an algorithm including balanced and imbalanced multiclassification for text classification. Weighted ELM assigning the different weights to the different samples improves the classification accuracy to a certain extent, but weighted ELM considers the differences between samples in the different categories only and ignores the differences between samples within the same categories. We measure the importance of the documents by the sample information entropy, and generate cost-sensitive matrix and factor based on the document importance, then embed the cost-sensitive weighted ELM into the AdaBoost.M1 framework seamlessly. Vector space model(VSM) text representation produces the high dimensions and sparse features which increase the burden of ELM. To overcome this problem, we develop a text classification framework combining the word vector and AE1-WELM. The experimental results show that our method provides an accurate, reliable and effective solution for text classification.

研究动机与目标

• 为解决标准加权ELM在处理文本分类中类别不平衡及类内样本差异方面的局限性。
• 通过在学习过程中引入文档重要性度量（基于样本信息熵）以提升分类准确率。
• 通过与词向量特征集成，降低ELM中高维稀疏向量空间模型（VSM）表示的影响。
• 开发一种鲁棒且可扩展的框架，用于平衡与不平衡多分类文本分类任务。
• 为现实世界中文本分类任务提供有效解决方案，应对数据不平衡与特征稀疏性等常见挑战。

提出的方法

• 该方法引入基于文档重要性的代价敏感矩阵与因子，通过样本信息熵计算，以反映类内样本差异。
• 通过引入类别特定与样本特定的权重，增强加权ELM，以提升在不平衡数据集上的分类性能。
• 将代价敏感加权ELM嵌入AdaBoost.M1提升框架，构建集成模型（AE1-WELM），通过迭代优化弱学习器。
• 采用混合文本表示模型，结合传统VSM与分布式词向量，以缓解ELM中稀疏性与维度问题。
• 框架端到端训练，联合优化特征表示与分类过程，以提升泛化能力。
• 算法在训练过程中动态调整样本权重，基于熵重要性评分，以减少关键文档的误分类。

实验结果

研究问题

• RQ1 如何有效度量同一类别内样本的重要性，并将其融入学习过程以提升分类性能？
• RQ2 将代价敏感学习与信息熵结合，能在多大程度上提升ELM在不平衡文本分类任务中的表现？
• RQ3 将词向量表示与VSM结合，能否有效降低基于ELM的文本分类中的稀疏性与维度负担？
• RQ4 所提出的AE1-WELM框架在准确率与鲁棒性方面，相较于标准ELM与其他集成方法，在平衡与不平衡数据集上的表现如何？
• RQ5 将代价敏感加权ELM嵌入AdaBoost.M1框架，对整体分类可靠性有何影响？

主要发现

• AE1-WELM框架在多个基准文本分类数据集上的分类准确率高于标准ELM与加权ELM。
• 基于信息熵的样本重要性度量显著提升了少数类的分类性能，减少了在不平衡设置下的误分类。
• 混合VSM与词向量表示降低了特征维度与稀疏性，使ELM实现更快收敛与更好泛化。
• AE1-WELM的集成特性结合代价敏感学习，使不同文本分类任务中的预测更加稳定可靠。
• 该方法在平衡与不平衡多分类文本分类问题中均表现出鲁棒性，持续优于基线模型。
• 实证结果表明，所提框架能有效缓解传统基于VSM的ELM中高维稀疏特征的负面影响。