[论文解读] Pre-Trained Models: Past, Present and Future

Xu Han, Zhengyan Zhang+22 more|arXiv (Cornell University)|Jun 14, 2021

Topic Modeling参考文献 250被引用 14

一句话总结

本文对预训练模型（PTMs）进行了全面综述，追溯了其从迁移学习和自监督学习发展到现代大规模架构（如 BERT 和 GPT）的演变历程。文章回顾了模型架构、上下文利用、效率和可解释性方面的进展，同时指出了在领域适应、少样本学习以及连续向量空间中知识表征本质方面仍存在的开放性挑战。

ABSTRACT

Large-scale pre-trained models (PTMs) such as BERT and GPT have recently achieved great success and become a milestone in the field of artificial intelligence (AI). Owing to sophisticated pre-training objectives and huge model parameters, large-scale PTMs can effectively capture knowledge from massive labeled and unlabeled data. By storing knowledge into huge parameters and fine-tuning on specific tasks, the rich knowledge implicitly encoded in huge parameters can benefit a variety of downstream tasks, which has been extensively demonstrated via experimental verification and empirical analysis. It is now the consensus of the AI community to adopt PTMs as backbone for downstream tasks rather than learning models from scratch. In this paper, we take a deep look into the history of pre-training, especially its special relation with transfer learning and self-supervised learning, to reveal the crucial position of PTMs in the AI development spectrum. Further, we comprehensively review the latest breakthroughs of PTMs. These breakthroughs are driven by the surge of computational power and the increasing availability of data, towards four important directions: designing effective architectures, utilizing rich contexts, improving computational efficiency, and conducting interpretation and theoretical analysis. Finally, we discuss a series of open problems and research directions of PTMs, and hope our view can inspire and advance the future study of PTMs.

研究动机与目标

• 追溯人工智能中预训练的历史发展，特别是其在迁移学习和自监督学习中的根源。
• 分析大规模预训练模型作为现代人工智能系统基础骨干的作用。
• 识别并回顾推动近期预训练模型（PTMs）进展的关键研究方向，包括架构设计、上下文建模、效率和可解释性。
• 突出在领域适应、特定任务微调以及预训练模型中存储知识的本质方面存在的开放性问题。
• 提供对预训练模型未来发展的前瞻性视角，特别是关于连续知识表征和有效知识迁移方面。

提出的方法

• 系统性回顾2010年代初至2021年间的预训练文献，重点关注计算机视觉和自然语言处理领域的里程碑进展。
• 将预训练模型的进展归类为四个核心方向：高效架构、丰富上下文利用、计算效率和理论解释。
• 分析预训练目标，如掩码语言建模（MLM）、下一句预测（NSP）和自回归语言建模。
• 考察特定领域的预训练模型（如 BioBERT、SciBERT）及其在特定自然语言处理任务上的表现。
• 讨论微调策略和适应技术，以弥合预训练分布与下游领域之间的分布偏移。
• 对大规模预训练模型参数中知识编码方式的理论与解释性分析，将其表述为“模式知识（modeledge）”。”

实验结果

研究问题

• RQ1 预训练如何从早期的迁移学习和自监督学习演变为现代大规模预训练模型？
• RQ2 近期预训练模型成功的关键技术驱动力是什么？它们如何在多样化的自然语言处理任务中提升性能？
• RQ3 为何简单的微调在特定领域应用中不足？需要何种适应策略来应对分布偏移问题？
• RQ4 预训练模型中的知识如何表征？与符号知识相比，‘模式知识’在结构和实用性方面有何本质区别？
• RQ5 下一代预训练模型面临的最紧迫开放性问题和未来研究方向是什么？

主要发现

• 如 BERT 和 GPT 等大规模预训练模型已成为下游自然语言处理任务的事实标准骨干，显著优于从零开始训练的模型。
• 在大规模无标注数据上进行预训练，使模型能够学习到丰富且可泛化的表征，从而在低资源和少样本设置中表现良好。
• 如 BioBERT 和 SciBERT 等领域特定的预训练模型，由于接触了领域特定的语料，其在专业任务上的表现得到提升。
• 尽管取得成功，但在下游任务上对大型预训练模型进行简单微调往往无法有效应对领域偏移，因此需要更复杂的适应技术。
• 预训练模型中存储的知识以连续的实值向量形式表征——称为“模式知识（modeledge）”——这与符号化的离散知识表征存在根本性差异。
• 在计算效率提升、有效少样本适应能力增强以及对预训练模型行为和知识构成的更深层次理论理解方面，仍存在重大开放性挑战。