[论文解读] PromptRank: Unsupervised Keyphrase Extraction Using Prompt

Aobo Kong, Shiwan Zhao+5 more|arXiv (Cornell University)|May 8, 2023

Advanced Text Analysis Techniques被引用 4

一句话总结

PromptRank 提出了一种新颖的无监督关键词提取方法，利用预训练的编码器-解码器语言模型，通过计算从文档的提示版本生成候选关键词的概率来对关键词候选进行排序。该方法在无需微调或架构修改的情况下，实现了最先进性能，相较于 MDERank 在返回 5、10 和 15 个关键词时，F1 分数分别提升了 34.18%、24.87% 和 17.57%。

ABSTRACT

The keyphrase extraction task refers to the automatic selection of phrases from a given document to summarize its core content. State-of-the-art (SOTA) performance has recently been achieved by embedding-based algorithms, which rank candidates according to how similar their embeddings are to document embeddings. However, such solutions either struggle with the document and candidate length discrepancies or fail to fully utilize the pre-trained language model (PLM) without further fine-tuning. To this end, in this paper, we propose a simple yet effective unsupervised approach, PromptRank, based on the PLM with an encoder-decoder architecture. Specifically, PromptRank feeds the document into the encoder and calculates the probability of generating the candidate with a designed prompt by the decoder. We extensively evaluate the proposed PromptRank on six widely used benchmarks. PromptRank outperforms the SOTA approach MDERank, improving the F1 score relatively by 34.18%, 24.87%, and 17.57% for 5, 10, and 15 returned results, respectively. This demonstrates the great potential of using prompt for unsupervised keyphrase extraction. We release our code at https://github.com/HLT-NLP/PromptRank.

研究动机与目标

• 为解决现有无监督关键词提取方法的局限性，特别是文档与候选词之间长度不一致的问题，以及基于 PLM 方法中对对比微调的需求。
• 探究提示工程是否能有效替代无监督关键词提取中的微调，同时保持或提升性能。
• 开发一种简单、即插即用的方法，直接利用预训练模型，无需额外训练或参数更新。
• 评估该方法在多样化数据集和模型架构上的鲁棒性与泛化能力。

提出的方法

• PromptRank 使用预训练的编码器-解码器模型（如 T5-base），将文档输入编码器，将包含候选词的提示模板输入解码器。
• 该方法计算在给定文档和设计好的提示下，生成候选词的概率，并将解码器输出的概率作为排序得分。
• 提示设计用于扩展候选词的长度和上下文，缓解文档与候选词之间的长度差异。
• 排序得分源自解码器预测的交叉熵损失，概率越高表示相关性越强。
• 超参数如位置加权（β）和长度缩放（γ）会根据文档长度动态调整，以在短文本和长文本之间保持性能平衡。
• 该方法完全无监督，无需任何微调或额外参数。

实验结果

研究问题

• RQ1 在编码器-解码器 PLM 中基于提示的生成能否有效替代无监督关键词排序中的嵌入相似度？
• RQ2 提示设计如何影响零样本设置下关键词提取的性能？
• RQ3 该方法是否能在无需微调的情况下，泛化到不同的 PLM 架构和大小？
• RQ4 位置加权和提示长度等超参数如何影响短文本与长文本上的排序性能？

主要发现

• 在六个基准测试中，当检索 5 个关键词时，PromptRank 相较于 MDERank 的 F1 分数相对提升了 34.18%。
• 在检索 10 和 15 个关键词时，F1 分数分别提升了 24.87% 和 17.57%，表明在不同 top-k 检索设置下均具有一致的优越性。
• PromptRank 在包括 Inspec、SemEval 和 DUC 在内的多样化数据集上均保持强劲性能，且相对于最先进基线模型持续取得提升。
• 该方法在不同 PLM 架构上表现出鲁棒性：T5-small、T5-base、T5-large、BART-base 和 BART-large 均在无需微调的情况下优于 MDERank。
• 动态位置加权的最优超参数 γ 被确定为 1.2×10⁸，该值在短文本和长文本上均能实现性能平衡。
• 案例研究显示，PromptRank 对真实关键词赋予更高的得分，且相比 MDERank 更好地区分无关候选词。