[论文解读] RobBERTje: a Distilled Dutch BERT Model

Pieter Delobelle, Thomas Winters+1 more|arXiv (Cornell University)|Apr 28, 2022

Natural Language Processing Techniques被引用 7

一句话总结

本文介绍了 RobBERTje，即针对最先进的荷兰语 BERT 模型 RobBERT 的一系列蒸馏后、更小的版本，通过知识蒸馏训练以提升效率。研究发现，训练数据的打乱或合并对性能影响极小，而更大的蒸馏架构（如 DistilBERT）优于更小的架构（如 Bort），且所有蒸馏模型相比教师模型均表现出更低的性别刻板印象偏差。

ABSTRACT

Pre-trained large-scale language models such as BERT have gained a lot of attention thanks to their outstanding performance on a wide range of natural language tasks. However, due to their large number of parameters, they are resource-intensive both to deploy and to fine-tune. Researchers have created several methods for distilling language models into smaller ones to increase efficiency, with a small performance trade-off. In this paper, we create several different distilled versions of the state-of-the-art Dutch RobBERT model and call them RobBERTje. The distillations differ in their distillation corpus, namely whether or not they are shuffled and whether they are merged with subsequent sentences. We found that the performance of the models using the shuffled versus non-shuffled datasets is similar for most tasks and that randomly merging subsequent sentences in a corpus creates models that train faster and perform better on tasks with long sequences. Upon comparing distillation architectures, we found that the larger DistilBERT architecture worked significantly better than the Bort hyperparametrization. Interestingly, we also found that the distilled models exhibit less gender-stereotypical bias than its teacher model. Since smaller architectures decrease the time to fine-tune, these models allow for more efficient training and more lightweight deployment of many Dutch downstream language tasks.

研究动机与目标

• 为实际部署创建更小、更高效的荷兰语 RobBERT 语言模型版本。
• 评估不同数据处理策略（如打乱、合并）对蒸馏性能的影响。
• 比较不同蒸馏架构（例如 DistilBERT 与 Bort）在效率与准确率方面的表现，以实现最优平衡。
• 探究知识蒸馏是否能降低荷兰语自然语言模型中的性别刻板印象偏差。
• 实现下游荷兰语自然语言处理任务中更快的微调速度与更节能的推理性能。

提出的方法

• 使用一个小规模的未标注荷兰语语料库，对 RobBERT v2 模型应用知识蒸馏。
• 训练多个蒸馏模型，采用不同的数据预处理方式：非打乱、打乱和合并句子的语料库。
• 蒸馏过程利用教师模型（RobBERT）生成的软标签来指导学生模型的训练。
• 在多个下游自然语言处理任务上对学生模型进行微调，以评估其性能。
• 计算对数概率偏差分数，以衡量并比较模型预测中的性别刻板印象关联程度。
• 蒸馏架构包括标准的 DistilBERT 和一个更小的 Bort 配置，用于对比。

实验结果

研究问题

• RQ1 在蒸馏过程中对训练语料库进行打乱是否显著影响蒸馏后荷兰语 BERT 模型的性能？
• RQ2 在训练数据中合并连续句子是否能提升长序列任务上的性能？
• RQ3 不同蒸馏架构（如 DistilBERT 与 Bort）在准确率与效率方面的表现如何比较？
• RQ4 知识蒸馏是否能降低荷兰语语言模型中的性别刻板印象偏差？
• RQ5 蒸馏模型是否能在显著降低计算与存储需求的前提下，实现接近最先进水平的性能？

主要发现

• 在大多数任务中，使用打乱与非打乱语料库训练的模型性能几乎完全相同，表明打乱对性能影响极小。
• 在训练数据中合并连续句子可加快训练速度，并在长输入序列任务上提升性能。
• 基于更大架构 DistilBERT 的蒸馏模型在所有评估任务中均显著优于更小的 Bort 超参数配置。
• 所有蒸馏模型相比教师模型 RobBERT 均表现出更低的性别刻板印象偏差，偏差分数范围为 -0.67 至 -0.50，而教师模型为 1.10。
• 蒸馏模型在显著降低微调与推理所需计算资源的同时，实现了接近最先进水平的性能。
• 知识蒸馏起到了正则化作用，减少了模型预测中的刻板印象关联，该结论通过对数概率偏差分数指标得到验证。