[论文解读] On the Domain Adaptation and Generalization of Pretrained Language Models: A Survey

Xu Guo, Han Yu|arXiv (Cornell University)|Nov 6, 2022

Topic Modeling被引用 14

一句话总结

本综述系统地构建了预训练语言模型（PLM）领域自适应（DA）方法的分类体系，将技术分为数据增强、模型优化和个人化三类。它强调了参数高效方法（如LoRA和提示调优）在缓解将PLM适配至低资源或分布外设置时的性能下降与灾难性遗忘方面的有效性。

ABSTRACT

Recent advances in NLP are brought by a range of large-scale pretrained language models (PLMs). These PLMs have brought significant performance gains for a range of NLP tasks, circumventing the need to customize complex designs for specific tasks. However, most current work focus on finetuning PLMs on a domain-specific datasets, ignoring the fact that the domain gap can lead to overfitting and even performance drop. Therefore, it is practically important to find an appropriate method to effectively adapt PLMs to a target domain of interest. Recently, a range of methods have been proposed to achieve this purpose. Early surveys on domain adaptation are not suitable for PLMs due to the sophisticated behavior exhibited by PLMs from traditional models trained from scratch and that domain adaptation of PLMs need to be redesigned to take effect. This paper aims to provide a survey on these newly proposed methods and shed light in how to apply traditional machine learning methods to newly evolved and future technologies. By examining the issues of deploying PLMs for downstream tasks, we propose a taxonomy of domain adaptation approaches from a machine learning system view, covering methods for input augmentation, model optimization and personalization. We discuss and compare those methods and suggest promising future research directions.

研究动机与目标

• 解决预训练语言模型（PLM）在应用于分布外或低资源设置时，由于领域偏移与分布不匹配导致的性能下降问题。
• 识别并分类专为PLM设计的新兴领域自适应技术，将其与为非预训练模型设计的传统领域自适应方法区分开来。
• 提供一种系统化、面向机器学习系统架构的DA方法分类体系——聚焦于输入增强、模型优化与个人化，以支持PLM的实际部署。
• 指导研究人员与实践者选择或组合合适的DA技术，以避免灾难性遗忘，并提升真实NLP应用中的泛化能力。
• 突出尚未充分探索但前景广阔的领域，如个性化自适应与终身学习，以实现可扩展、面向用户的PLM部署。

提出的方法

• 提出一个三级领域自适应方法分类体系：(1) 输入级数据增强，(2) 模型级优化（如适配器、LoRA、提示调优），(3) 用户级个人化。
• 综述并比较了诸如领域特定微调、对抗性领域自适应以及参数高效自适应（如LoRA、提示调优、适配器）等技术在PLM中的应用。
• 分析输入级增强的有效性，包括领域不变的数据采样与回译技术，以弥合源领域与目标领域之间的分布差距。
• 考察模型优化策略，即冻结预训练参数并仅微调少量子模块（如适配器、LoRA），以减少遗忘并提升数据效率。
• 评估个人化技术，如后验适应与增量学习，使PLM能够适应个体用户偏好，而无需从头开始重新训练。
• 综述基准数据集，包括AdaptSum、MultiWOZ、WNUT2016、BioNLP与Amazon评论，用于评估跨领域性能在多样化NLP任务中的表现。

实验结果

研究问题

• RQ1 如何有效将领域自适应技术适配于大规模预训练语言模型的特有行为，这些行为与传统神经网络存在根本性差异？
• RQ2 传统领域自适应方法与专为PLM设计的方法之间存在哪些关键差异？为何某些传统方法（如领域对抗训练）在PLM上会失效？
• RQ3 像LoRA、提示调优或适配器这样的参数高效方法，在保持源领域与目标领域性能的同时，能在多大程度上缓解灾难性遗忘？
• RQ4 如何利用个人化技术实现PLM在演化领域中对个体用户的终身、交互式自适应？
• RQ5 哪些关键设计选择与机制使某些领域自适应方法在低资源或分布外设置下比其他方法更有效？

主要发现

• 参数高效方法（如LoRA和提示调优）在显著减少可训练参数数量的同时，实现了与全量微调相当的性能，并有效缓解了灾难性遗忘。
• 在低资源与跨语言设置中，基于适配器的微调比全量微调展现出更强的抗遗忘能力，表明其在数据稀缺条件下具有更好的泛化能力。
• 在少样本设置下，提示调优的性能低于全量微调，表明当前基于提示的方法在缺乏进一步架构或优化改进的情况下，尚不足以实现低资源自适应的最优效果。
• 特定领域的数据增强（如回译与合成数据生成）通过减少预训练阶段与目标领域之间的分布偏移，提升了跨领域性能。
• 个人化技术（如后验适应）支持以最小化重训练代价实现增量式、用户特定的模型更新，适用于虚拟助手等交互式系统。
• 领域自适应的有效性在很大程度上取决于目标领域在预训练数据中的表征程度，凸显了PLM预训练语料多样性的重要性。