[论文解读] Transformer-Based Named Entity Recognition for French Using Adversarial Adaptation to Similar Domain Corpora

Arjun Choudhry, Pankaj Gupta+5 more|arXiv (Cornell University)|Dec 5, 2022

Topic Modeling被引用 6

一句话总结

本文提出了一种基于Transformer的法语命名实体识别（NER）框架，通过对抗性适应提升低资源NER任务的性能。通过在标注的源数据集上微调法语语言模型，并利用对抗性训练将其适配到大规模、未标注的相似领域或混合领域语料库，该方法实现了最先进性能，其中较小的模型如CamemBERT-Wiki-4GB在适配得当时可匹配或超越更大的模型。

ABSTRACT

Named Entity Recognition (NER) involves the identification and classification of named entities in unstructured text into predefined classes. NER in languages with limited resources, like French, is still an open problem due to the lack of large, robust, labelled datasets. In this paper, we propose a transformer-based NER approach for French using adversarial adaptation to similar domain or general corpora for improved feature extraction and better generalization. We evaluate our approach on three labelled datasets and show that our adaptation framework outperforms the corresponding non-adaptive models for various combinations of transformer models, source datasets and target corpora.

研究动机与目标

• 解决法语等低资源语言中命名实体识别标注数据集有限的挑战。
• 通过对抗性领域适应提升法语NER模型的泛化能力并减少过拟合。
• 评估较小的、领域适配的语言模型是否能在NER性能上匹配或超越更大的预训练模型。
• 研究目标语料库领域相似性对模型泛化能力和性能的影响。

提出的方法

• 该框架使用领域判别器对齐标注源数据与未标注目标语料库之间的特征，促进领域不变表示的学习。
• 通过结合NER分类损失与对抗性领域损失的总损失函数实现对抗性适配，超参数α=2以实现最佳平衡。
• 对三种法语语言模型——CamemBERT-base、CamemBERT-Wiki-4GB和FlauBERT-base——在标注源数据集上进行微调，并将其适配到相似或混合领域的未标注目标语料库。
• 目标语料库包括WikiNER、WikiNeural和Leipzig Mixed-French（Mixed-Fr），支持在不同领域相似度水平下进行评估。
• NER标签被转换为IOB格式，以确保在不同数据集间实现一致的序列标注。
• 领域分类器被训练以区分源域与目标域的特征，而特征提取器则被训练以欺骗该分类器，从而促进不变特征的学习。

实验结果

研究问题

• RQ1 在未标注的相似领域语料库上进行对抗性适配，是否能提升低资源法语数据集上的NER性能？
• RQ2 将较小的、领域特定的语言模型（如CamemBERT-Wiki-4GB）适配到大规模未标注语料库，是否能实现与更大模型（如CamemBERT-base）相当的性能？
• RQ3 源语料库与目标语料库之间的领域相似性如何影响模型的泛化能力和性能？
• RQ4 使用混合领域语料库作为适配目标，是否比使用领域不匹配的语料库带来更好的性能？

主要发现

• 对抗性适配在所有模型与数据集组合中均一致提升了F1分数，优于非适配基线模型。
• CamemBERT-Wiki-4GB在适配到WikiNeural语料库后，F1分数达到0.969，超越了在WikiNER数据集上未适配的CamemBERT-base模型。
• 在相同领域目标语料库上适配的模型（如从WikiNER适配到WikiNeural）表现与在混合领域语料库上适配的模型相当或略优。
• 将Europeana数据集适配到混合领域语料库Mixed-Fr后，F1分数达到0.701，显著优于适配到不同领域语料库的结果（F1=0.682）。
• 当FlauBERT-base模型从WikiNeural源语料库适配到Mixed-Fr时，F1分数达到0.973，表明其在混合领域适配中具有强大的泛化能力。
• 所提出的模型使较小且高效的模型在适配得当时，能够匹配或超越更大模型的性能，从而减少对大规模预训练的依赖。