[论文解读] Taking Notes on the Fly Helps BERT Pre-training

Qiyu Wu, Xing Chen+4 more|arXiv (Cornell University)|Aug 4, 2020

Topic Modeling参考文献 33被引用 4

一句话总结

本文提出了一种名为即时笔记（Taking Notes on the Fly, TNF）的方法，通过在首次遇到罕见词时动态维护其上下文表示的笔记字典，提升 BERT 和 ELECTRA 预训练效率。当罕见词再次出现时，利用其存储的笔记实现跨句语义增强。TNF 在保持与基线模型相同性能的同时，将预训练时间减少了 60%，并在大多数下游任务中表现更优，包括在 ELECTRA 上实现平均 GLUE 得分提升 0.8 分。

ABSTRACT

How to make unsupervised language pre-training more efficient and less resource-intensive is an important research direction in NLP. In this paper, we focus on improving the efficiency of language pre-training methods through providing better data utilization. It is well-known that in language data corpus, words follow a heavy-tail distribution. A large proportion of words appear only very few times and the embeddings of rare words are usually poorly optimized. We argue that such embeddings carry inadequate semantic signals, which could make the data utilization inefficient and slow down the pre-training of the entire model. To mitigate this problem, we propose Taking Notes on the Fly (TNF), which takes notes for rare words on the fly during pre-training to help the model understand them when they occur next time. Specifically, TNF maintains a note dictionary and saves a rare word's contextual information in it as notes when the rare word occurs in a sentence. When the same rare word occurs again during training, the note information saved beforehand can be employed to enhance the semantics of the current sentence. By doing so, TNF provides better data utilization since cross-sentence information is employed to cover the inadequate semantics caused by rare words in the sentences. We implement TNF on both BERT and ELECTRA to check its efficiency and effectiveness. Experimental results show that TNF's training time is $60\%$ less than its backbone pre-training models when reaching the same performance. When trained with the same number of iterations, TNF outperforms its backbone methods on most of downstream tasks and the average GLUE score. Source code is attached in the supplementary material.

研究动机与目标

• 通过提升数据利用效率，特别是改善罕见词嵌入质量，来提高无监督语言预训练的效率。
• 解决由于罕见词具有噪声大、优化不足的嵌入表示而造成的训练效率低下问题，影响模型收敛。
• 通过利用罕见词的跨句上下文信息，在不牺牲模型性能的前提下减少预训练时间。
• 为微调提供更有效的初始化，尤其在低资源下游任务中表现更优。

提出的方法

• 在预训练过程中维护一个笔记字典，其中键为罕见词，值为该词首次出现时的上下文表示。
• 当罕见词再次出现时，使用其存储的笔记来增强当前句子中该词的上下文嵌入。
• 在前向传播过程中，通过可学习门控机制控制笔记表示的影响，将其整合到输入嵌入层。
• 通过反向传播梯度更新笔记表示，实现笔记字典的动态优化与更新。
• 将该方法应用于 BERT 和 ELECTRA 架构，仅需极少的结构修改，且不增加微调阶段的计算开销。
• 采用基于阈值的罕见词检测机制，决定哪些词被加入笔记字典。

实验结果

研究问题

• RQ1 罕见词的跨句上下文信号是否能提升预训练期间的数据利用效率？
• RQ2 通过即时笔记增强罕见词表示，是否能在保持或提升性能的同时减少预训练时间？
• RQ3 TNF 对下游任务泛化能力的影响如何，特别是在低资源数据集上的表现？
• RQ4 在微调过程中保留或更新笔记字典会产生何种影响？
• RQ5 TNF 的性能对超参数（如笔记更新频率或罕见词纳入阈值）的敏感性如何？

主要发现

• 当达到相同性能水平时，与基线模型（BERT 和 ELECTRA）相比，TNF 将预训练时间减少了 60%。
• 在相同训练迭代次数下，TNF 在 8 个 GLUE 任务中的 7 个上优于其基线模型，ELECTRA 的平均 GLUE 得分提升 0.8 分。
• 在 CoLA 任务中，与 BERT 相比，TNF 的 F1 分数提升 1.2 分；与 ELECTRA 相比，提升 0.8 分，表明其在低资源任务上具有强大的泛化能力。
• 在包含罕见词的句子上，使用笔记的验证 MLM 损失最低（TNF with notes < BERT < TNF without notes），证实笔记中包含了模型参数未能捕捉到的有用语义信号。
• 在微调过程中，固定笔记（TNF-F）和更新笔记（TNF-U）均优于基线模型，尽管略逊于完整 TNF，表明预训练与微调数据分布存在差异。
• 敏感性分析表明，TNF 在不同超参数设置下性能稳定，显示出良好的鲁棒性。