[论文解读] Plumeria at SemEval-2022 Task 6: Robust Approaches for Sarcasm Detection for English and Arabic Using Transformers and Data Augmentation

Shubham Kumar Nigam, Mosab Shaheen|arXiv (Cornell University)|Mar 8, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本论文介绍了Plumeria在SemEval-2022任务6中用于讽刺检测的鲁棒系统，采用基于BERT的转换器模型，并结合英语和阿拉伯语的数据增强与预处理策略。该方法在三个子任务中均取得顶尖表现（排名第四），一个子任务中排名第六，通过战略性数据集增强与微调，在多语言讽刺检测任务中展现出模型的稳定性和有效性。

ABSTRACT

This paper describes our submission to SemEval-2022 Task 6 on sarcasm detection and its five subtasks for English and Arabic. Sarcasm conveys a meaning which contradicts the literal meaning, and it is mainly found on social networks. It has a significant role in understanding the intention of the user. For detecting sarcasm, we used deep learning techniques based on transformers due to its success in the field of Natural Language Processing (NLP) without the need for feature engineering. The datasets were taken from tweets. We created new datasets by augmenting with external data or by using word embeddings and repetition of instances. Experiments were done on the datasets with different types of preprocessing because it is crucial in this task. The rank of our team was consistent across four subtasks (fourth rank in three subtasks and sixth rank in one subtask); whereas other teams might be in the top ranks for some subtasks but rank drastically less in other subtasks. This implies the robustness and stability of the models and the techniques we used.

研究动机与目标

• 开发一种鲁棒的讽刺检测系统，能够在SemEval-2022共享任务的多种子任务和语言中实现良好泛化能力。
• 通过重复和基于词嵌入的方法创建增强数据集，以应对讽刺检测中的类别不平衡和训练数据有限问题。
• 评估不同预处理策略、损失函数和超参数对多语言讽刺检测模型性能的影响。
• 比较独立转换器模型与分层转换器-BiLSTM架构在讽刺分类中的有效性。
• 确保在所有子任务中保持一致的性能表现，避免出现某些子任务表现优异而其他子任务表现不佳的常见问题。

提出的方法

• 在原始数据集和增强数据集上对BERT-base和BERT-large模型（区分大小写与不区分大小写）进行微调，用于英语和阿拉伯语的讽刺检测。
• 应用四种类型的预处理（I–IV）以优化输入表示，其中Type II在验证集上表现最佳。
• 通过结合原始数据与外部讽刺数据集，并利用词嵌入重复和实例复制的方法进行数据增强，创建增强数据集。
• 通过在转换器编码器之上堆叠BiLSTM层，构建分层架构，包括带注意力机制和不带注意力机制的版本，以增强上下文理解能力。
• 采用加权交叉熵损失以缓解类别不平衡问题，特别是在讽刺样本与非讽刺样本比例严重失衡的子任务中。
• 基于验证性能选择模型，并使用最佳配置（包括Type-II预处理和最优超参数，如初始学习率8e-6或3e-5）提交最终结果。

实验结果

研究问题

• RQ1 不同预处理策略（Type I–IV）如何影响基于转换器的讽刺检测模型性能？
• RQ2 通过词嵌入或实例重复进行数据增强，在多大程度上能提升模型在子任务间的泛化能力和鲁棒性？
• RQ3 带有或不带注意力机制的分层转换器-BiLSTM模型是否能优于独立的转换器模型？
• RQ4 加权损失函数在类别不平衡的讽刺检测数据集上的使用，如何影响模型性能？
• RQ5 结合原始数据与外部数据是否能带来更稳定且一致的性能表现，特别是在多语言讽刺检测的多个子任务中？

主要发现

• 该团队在三个子任务中均取得第四名的稳定排名，在一个子任务中排名第六，表明在不同评估条件下具备出色的鲁棒性与稳定性。
• 对于子任务C（英语），使用Type-I预处理的BERT-large（区分大小写）模型在测试集上准确率达到0.79，位列官方排行榜第四名。
• 对于子任务C（阿拉伯语），使用Type-II预处理的CAMeLBERT-Mix模型在测试集上准确率达到0.87，位列排行榜第四名。
• 使用增强数据集——特别是通过嵌入重复和外部数据创建的增强数据集——显著提升了模型性能，尤其在低资源设置下表现突出。
• Type-II预处理在验证集上始终优于其他预处理类型，为其在最终提交中的使用提供了充分依据。
• 通过最优超参数（学习率、训练轮数）和加权损失函数微调的独立BERT模型取得了最佳结果，尤其在子任务A和B中表现优异。