[论文解读] Multi-Task Bidirectional Transformer Representations for Irony Detection

Chiyu Zhang, Muhammad Abdul-Mageed|arXiv (Cornell University)|Sep 8, 2019

Topic Modeling参考文献 38被引用 14

一句话总结

该论文提出了一种在多个下游任务上微调的多任务双向Transformer（BERT）模型——情感、性别、年龄、方言和情绪检测，以在标注数据有限的情况下提升阿拉伯语社交媒体中的反语检测性能。通过在领域内方言推特数据上进一步预训练BERT，该模型在IDAT@FIRE2019共享任务中取得了82.4的宏平均F1分数，排名第四，且为完全端到端的深度学习模型，无需特征工程。

ABSTRACT

Supervised deep learning requires large amounts of training data. In the context of the FIRE2019 Arabic irony detection shared task (IDAT@FIRE2019), we show how we mitigate this need by fine-tuning the pre-trained bidirectional encoders from transformers (BERT) on gold data in a multi-task setting. We further improve our models by by further pre-training BERT on `in-domain' data, thus alleviating an issue of dialect mismatch in the Google-released BERT model. Our best model acquires 82.4 macro F1 score, and has the unique advantage of being feature-engineering free (i.e., based exclusively on deep learning).

研究动机与目标

• 通过利用多任务学习，解决阿拉伯语反语检测中标注训练数据有限的挑战。
• 通过在领域内进行预训练，缓解预训练BERT（在现代标准阿拉伯语上训练）与反语数据（以方言为主）之间的方言不匹配问题。
• 开发一种完全端到端的深度学习模型，用于反语检测，仅依赖预训练的Transformer表示，无需特征工程。
• 通过结合多任务微调和领域特定预训练，提升在IDAT@FIRE2019共享任务上的性能。
• 证明将阿拉伯语方言视为需要专门预训练的独立领域，有助于提升泛化能力。

提出的方法

• 在五个辅助任务（情感分析、性别检测、年龄检测、方言识别和情绪检测）以及主要的反语检测任务上微调多语言BERT-base模型。
• 采用多任务学习设置，跨任务共享梯度，以改善小数据集上的泛化性能并减少过拟合。
• 在自有的推特数据集中，使用100万条方言阿拉伯语推文对BERT模型进行进一步预训练，使其语言分布与反语检测任务领域对齐。
• 在领域内预训练中使用2e-5的学习率，训练10个周期，并以BERT-Base Multilingual Cased检查点作为初始化。
• 使用多任务设置在IDAT@FIRE2019训练数据上微调所得的BERT-1M模型，随后在合并的训练集+验证集上进行最终提交的再训练。
• 以表现最佳的模型（BERT-1M-MT5）的预测结果作为主要提交，同时提交BERT-MT6和再训练模型的额外结果。

实验结果

研究问题

• RQ1 在阿拉伯语低资源反语检测中，结合辅助NLP任务的多任务学习是否能提升性能？
• RQ2 在方言阿拉伯语推特数据上进行领域内预训练，是否能缓解预训练BERT因方言不匹配导致的性能下降？
• RQ3 完全端到端的深度学习模型能否在阿拉伯语反语检测中超越依赖手工特征的传统模型？
• RQ4 与标准微调预训练BERT相比，多任务学习与领域内预训练的结合在IDAT@FIRE2019基准上表现如何？
• RQ5 在低资源设置下，使用更大规模的合并训练集（训练集+验证集）对模型泛化能力和最终性能有何影响？

主要发现

• 所提出的结合领域内预训练的多任务BERT模型（BERT-1M-MT5）在IDAT@FIRE2019共享任务官方测试集上取得了82.4的宏平均F1分数，排名第四。
• 该模型优于单任务GRU基线模型，证明了深度迁移学习结合多任务适应的有效性。
• 在100万条方言推文上进行领域内预训练显著提升了模型性能，BERT-1M-MT5达到83.34的F1分数，仅比表现最佳的BERT-MT6模型低0.47%。
• BERT-1M-MT5模型实现了84.37%的准确率，表明其在标注数据有限的情况下仍具备强大的泛化能力。
• 该模型为完全端到端的深度学习，无需任何特征工程，简化了流程并减少了人为偏差。
• 在合并的训练集+验证集上对BERT-1M-MT5模型进行再训练，提升了泛化能力，证实了在低资源设置下数据增强的有效性。