[论文解读] On Extending Neural Networks with Loss Ensembles for Text Classification

Hamideh Hajiabadi, Diego Mollá+1 more|arXiv (Cornell University)|Nov 14, 2017

Music and Audio Processing参考文献 10被引用 9

一句话总结

该论文提出了一种使用损失函数集合的神经网络扩展方法，其中各个损失函数的权重通过训练过程中的梯度下降进行学习。该方法在多个数据集上提升了文本分类的准确率，并表现出对标签噪声的强鲁棒性，优于标准的单一损失函数。

ABSTRACT

Ensemble techniques are powerful approaches that combine several weak learners to build a stronger one. As a meta learning framework, ensemble techniques can easily be applied to many machine learning techniques. In this paper we propose a neural network extended with an ensemble loss function for text classification. The weight of each weak loss function is tuned within the training phase through the gradient propagation optimization method of the neural network. The approach is evaluated on several text classification datasets. We also evaluate its performance in various environments with several degrees of label noise. Experimental results indicate an improvement of the results and strong resilience against label noise in comparison with other methods.

研究动机与目标

• 通过将多个弱损失函数组合成一个自适应的集成损失，以提升文本分类性能。
• 增强模型对标签噪声的鲁棒性，这是现实世界中文本数据集中的常见挑战。
• 将集成学习原理直接整合到神经网络的损失函数优化过程中。
• 在具有不同噪声水平的多样化文本分类基准上评估集成损失的有效性。
• 证明通过梯度传播学习损失权重相比固定不变的单一损失，能实现更优的泛化性能。

提出的方法

• 该框架用一组基于边缘的损失函数的加权集成替代单一损失函数，包括合页损失（Hinge）、交叉熵损失（Cross-Entropy）和相关性损失（Correntropy）。
• 各个损失函数的权重是可微分的，并通过反向传播在训练过程中进行优化。
• 集成损失定义为加权和：$ L_{\text{ensemble}} = \sum_{i=1}^{k} \eta_i L_i(y, \hat{y}) $，其中 $ \eta_i $ 为可训练参数。
• 模型采用简单的前馈神经网络，输出层为Softmax，输入为词频特征。
• 训练通过标准随机梯度下降进行，损失权重通过端到端方式更新。
• 该方法在四个文本分类数据集上进行了评估：20 Newsgroups、Movie Reviews、TREC Email 和 Reuters-21578。

实验结果

研究问题

• RQ1 通过集成机制组合多个损失函数是否能提升文本分类性能？
• RQ2 与单一损失函数相比，所提出的集成损失在标签噪声水平逐渐增加的情况下表现如何？
• RQ3 通过梯度下降学习损失权重是否能带来比固定且人工调优的损失函数更好的泛化性能？
• RQ4 当训练数据中包含误标样本时，集成损失是否比单一损失更具鲁棒性？
• RQ5 该方法能否在简单的神经网络架构中有效应用于文本分类任务？

主要发现

• 在4个数据集中的3个上，集成损失取得了最高准确率，20 Newsgroups数据集上达到85%的准确率，超过表现最好的单一损失（Square：82%）。
• 在TREC Email数据集上，集成损失达到97%的准确率，优于交叉熵（88%）和平方损失（96%），在干净数据条件下表现更优。
• 在10%标签噪声条件下，集成模型在TREC Email上保持强劲表现，准确率达到96%，而交叉熵为86%，合页损失为57%。
• 在30%标签噪声条件下，集成模型在TREC Email上达到93%的准确率，显著优于合页损失（46%）和交叉熵（80%）。
• 集成损失在多数情况下持续优于单一损失，仅有两个微小案例中性能略差，表明其具有高度可靠性。
• 该方法表现出快速收敛和稳定训练，表明其与标准深度学习优化流程具有良好的兼容性。