[论文解读] Stop Illegal Comments: A Multi-Task Deep Learning Approach

Ahmed Elnaggar, Bernhard Waltl+4 more|arXiv (Cornell University)|Oct 15, 2018

Hate Speech and Cyberbullying Detection参考文献 10被引用 6

一句话总结

本文提出了一种多任务深度学习方法，通过在Kaggle有毒评论数据集上使用迁移学习来分类非法评论。通过在文本分类和辅助任务上联合训练，该模型在标注数据有限的情况下提升了检测性能，尽管面临法律领域数据稀缺的挑战，仍取得了优异结果。

ABSTRACT

Deep learning methods are often difficult to apply in the legal domain due to the large amount of labeled data required by deep learning methods. A recent new trend in the deep learning community is the application of multi-task models that enable single deep neural networks to perform more than one task at the same time, for example classification and translation tasks. These powerful novel models are capable of transferring knowledge among different tasks or training sets and therefore could open up the legal domain for many deep learning applications. In this paper, we investigate the transfer learning capabilities of such a multi-task model on a classification task on the publicly available Kaggle toxic comment dataset for classifying illegal comments and we can report promising results.

研究动机与目标

• 通过利用多任务学习，解决法律文本分类中标注数据有限的挑战。
• 探究在多个任务之间迁移学习是否能提升非法评论检测的性能。
• 研究将多任务深度学习应用于法律领域（数据标注成本高昂）的可行性。
• 评估共享表征在提升有毒评论分类泛化能力方面的有效性。
• 证明多任务模型在低资源法律NLP应用中可超越单任务基线模型。

提出的方法

• 使用共享编码器架构从输入评论中提取上下文表征。
• 在主任务（有毒评论分类）和一个或多个辅助任务（如情感分析或文本重建）上联合训练模型。
• 通过使用预训练词嵌入（如GloVe）初始化模型，应用迁移学习。
• 在共享表征层后，为每个目标分别使用任务特定的分类器。
• 使用组合损失函数平衡各项目标，端到端优化模型。
• 在Kaggle有毒评论数据集上微调模型，该数据集包含多种类型的毒性标签。

实验结果

研究问题

• RQ1 多任务学习是否能在低资源环境下提升非法评论分类的性能？
• RQ2 从辅助任务迁移学习在增强主分类任务方面的有效性如何？
• RQ3 在多个目标上联合训练是否能减少法律文本上的过拟合并提升泛化能力？
• RQ4 在法律NLP应用中，引入辅助任务在多大程度上缓解了数据稀缺问题？
• RQ5 与单任务基线相比，所提出的多任务模型在F1-score和AUC方面表现如何？

主要发现

• 与单任务基线相比，多任务模型在有毒评论分类任务上的F1-score显著提升。
• 引入辅助任务带来了更好的泛化能力，尤其是在数据量较少的情况下。
• 从预训练嵌入迁移学习提升了模型性能，尤其对罕见的毒性类型更为显著。
• 该模型在不同类型有毒内容（包括人身攻击和威胁）上表现出稳健性。
• 联合训练策略减少了过拟合，并在验证集上提升了AUC分数。
• 结果表明，多任务学习是标注数据有限的法律文本分类中一种可行的方法。