[论文解读] Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study

Di Wu, Wasi Uddin Ahmad+1 more|arXiv (Cornell University)|Dec 20, 2022

Advanced Text Analysis Techniques被引用 6

一句话总结

本文对使用预训练语言模型（PLMs）进行关键词生成进行了全面的实证研究，比较了在不同领域中仅编码器结构与编码器-解码器结构PLMs的表现。研究发现，在低资源设置下，领域内预训练的BERT类PLMs可达到最先进性能；在固定参数预算下，更深的编码器优于更宽或更均衡的模型，展现出优异的数据效率和性能提升。

ABSTRACT

Neural models that do not rely on pre-training have excelled in the keyphrase generation task with large annotated datasets. Meanwhile, new approaches have incorporated pre-trained language models (PLMs) for their data efficiency. However, there lacks a systematic study of how the two types of approaches compare and how different design choices can affect the performance of PLM-based models. To fill in this knowledge gap and facilitate a more informed use of PLMs for keyphrase extraction and keyphrase generation, we present an in-depth empirical study. Formulating keyphrase extraction as sequence labeling and keyphrase generation as sequence-to-sequence generation, we perform extensive experiments in three domains. After showing that PLMs have competitive high-resource performance and state-of-the-art low-resource performance, we investigate important design choices including in-domain PLMs, PLMs with different pre-training objectives, using PLMs with a parameter budget, and different formulations for present keyphrases. Further results show that (1) in-domain BERT-like PLMs can be used to build strong and data-efficient keyphrase generation models; (2) with a fixed parameter budget, prioritizing model depth over width and allocating more layers in the encoder leads to better encoder-decoder models; and (3) introducing four in-domain PLMs, we achieve a competitive performance in the news domain and the state-of-the-art performance in the scientific domain.

研究动机与目标

• 系统评估预训练语言模型（PLMs）在关键词生成任务中相对于非预训练神经网络模型的有效性。
• 探究模型设计选择（如PLM类型、预训练领域、参数分配方式及模型形式）对性能的影响。
• 确定在数据和计算资源受限条件下，何时以及如何最优地使用PLMs进行关键词生成。
• 为研究人员和实践者提供关于选择和微调PLMs用于关键词任务的可操作洞察。

提出的方法

• 将关键词生成建模为序列到序列（seq2seq）生成任务，将关键词抽取建模为序列标注任务。
• 在涵盖新闻、科研和软件领域的七个数据集上，对多种PLM（包括BERT、BART、T5及领域特定变体）进行微调。
• 引入四种在S2ORC（科研）和RealNews（新闻）语料上预训练的领域内PLM，以评估领域特定性能。
• 通过调整模型深度与宽度，比较不同参数分配策略，重点关注在固定参数预算下编码器-解码器之间的权衡。
• 评估三种现代表述形式：直接生成、序列标注以及CRF增强的序列标注。
• 使用F1、精确率和召回率等标准指标，在低资源与高资源设置下比较模型性能。

实验结果

研究问题

• RQ1 在关键词生成任务中，与非预训练模型相比，基于PLM的模型在性能和数据效率方面表现如何？
• RQ2 使用领域内PLM是否能提升性能，尤其是在低资源场景下？
• RQ3 在固定模型大小预算下，最优的参数分配策略（深度 vs. 宽度，编码器 vs. 解码器）是什么？
• RQ4 在生成、序列标注或CRF增强序列标注这三种形式中，哪种能为现代表述预测带来最佳性能？

主要发现

• 在科研领域，领域内BERT类PLM实现了最先进性能，在新闻领域也取得了具有竞争力的结果，展现出强大的数据效率。
• 在固定参数预算下，优先提升模型深度并增加编码器层数，相比增加宽度或均衡分配编码器/解码器参数，能显著提升性能。
• 直接对领域内仅编码器PLM进行微调以实现关键词生成，可获得优异性能，挑战了仅编码器-解码器PLM才适合此类任务的假设。
• 使用特定领域的PLM（如SciBART和KeyBART）可提升关键词生成性能，尤其在科研文献等专业领域中表现更优。
• 基于PLM的模型在高资源设置下表现具有竞争力，在低资源设置下达到最先进结果，证实了其数据效率。
• 使用CRF增强的序列标注相比标准序列标注可提升性能，但其增益远小于使用领域内PLM或更深架构所带来的提升。