[论文解读] Unsupervised Domain Adaptation of Contextualized Embeddings: A Case Study in Early Modern English.

Xiaochuang Han, Jacob Eisenstein|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling被引用 15

一句话总结

本文提出领域自适应微调方法，通过在未标注的目标领域文本上进行掩码语言建模预训练，将 BERT 等上下文嵌入模型适应于低资源、分布外的文本——特别是早期现代英语和推特文本。该方法显著提升了序列标注性能，尤其在未登录词上表现更优，且无需目标领域标注数据，优于标准 BERT 基线模型。

ABSTRACT

Contextualized word embeddings such as ELMo and BERT provide a foundation for strong performance across a wide range of natural language processing tasks by pretraining on large corpora of unlabeled text. However, the applicability of this approach is unknown when the target domain varies substantially from the pretraining corpus. We are specifically interested in the scenario in which labeled data is available in only a canonical source domain such as newstext, and the target domain is distinct from both the labeled and pretraining texts. To address this scenario, we propose domain-adaptive fine-tuning, in which the contextualized embeddings are adapted by masked language modeling on text from the target domain. We test this approach on sequence labeling in two challenging domains: Early Modern English and Twitter. Both domains differ substantially from existing pretraining corpora, and domain-adaptive fine-tuning yields substantial improvements over strong BERT baselines, with particularly impressive results on out-of-vocabulary words. We conclude that domain-adaptive fine-tuning offers a simple and effective approach for the unsupervised adaptation of sequence labeling to difficult new domains.

研究动机与目标

• 解决将预训练的上下文嵌入模型应用于与标准预训练语料差异显著的领域所面临的挑战。
• 探索当仅在源领域（如新闻文本）有标注数据，而目标领域具有显著差异且资源有限时的无监督领域自适应方法。
• 提升在早期现代英语和推特等具有挑战性的领域中的序列标注性能，因为标准 BERT 模型会因领域偏移而表现欠佳。
• 评估在未标注的目标领域文本上进行领域自适应微调是否能有效适应上下文嵌入，而无需目标领域的标注数据。

提出的方法

• 提出领域自适应微调方法，即在目标领域未标注文本上使用掩码语言建模对 BERT 风格的上下文嵌入进行进一步预训练。
• 采用与 BERT 相同的架构，但在特定领域文本（如早期现代英语手稿或推文）上继续预训练。
• 在大规模未标注的目标领域语料上训练模型，以使上下文表示适应特定领域的语言模式。
• 将适应后的嵌入应用于序列标注任务（如命名实体识别或词性标注），而无需在目标领域标注数据上进行微调。
• 仅使用源领域标注数据进行初始 BERT 预训练，且不使用任何目标领域标注数据，评估下游序列标注任务的性能。
• 将领域自适应模型与标准 BERT 基线进行对比，以分离出领域自适应微调的影响。

实验结果

研究问题

• RQ1 领域自适应微调能否在早期现代英语和推特等低资源领域中提升序列标注性能？
• RQ2 在目标领域文本上通过掩码语言建模对上下文嵌入进行无监督适应，是否能比标准 BERT 微调带来更好的泛化性能？
• RQ3 领域自适应微调对具有挑战性的领域中未登录词的性能有何影响？
• RQ4 预训练领域与目标领域之间的领域偏移在多大程度上限制了标准 BERT 模型的性能？
• RQ5 当目标领域无任何标注数据时，领域自适应微调是否依然有效？

主要发现

• 在早期现代英语和推特的序列标注任务中，领域自适应微调相比强基线 BERT 模型取得了显著提升。
• 该方法在未登录词上表现尤为突出，表明对罕见或未见形式具有更好的泛化能力。
• 性能提升在两个领域中均保持一致，证明了该方法对多样化语言偏移的鲁棒性。
• 该方法无需任何目标领域标注数据即可实现这些改进，因此适用于低资源场景。
• 结果证实，通过在目标领域文本上使用掩码语言建模对上下文嵌入进行适应，是一种有效且简单的无监督领域自适应策略。
• 本研究确立了领域自适应微调是在目标领域缺乏标注数据时，替代监督微调的可行且有效的方法。