[论文解读] Simple Unsupervised Keyphrase Extraction using Sentence Embeddings

Kamil Bennani-Smires, Claudiu Musat+3 more|arXiv (Cornell University)|Jan 13, 2018

Advanced Text Analysis Techniques被引用 4

一句话总结

本文提出 EmbedRank，一种无监督的关键短语抽取方法，利用句子嵌入从单个文档中选择信息丰富且多样化的关键词，无需依赖语料库。该方法在标准数据集上优于当前最先进的基于图的方法，并通过用户研究表明，尽管 F-score 没有提升，但增强多样性的关键词更受人类青睐。

ABSTRACT

Keyphrase extraction is the task of automatically selecting a small set of phrases that best describe a given free text document. Supervised keyphrase extraction requires large amounts of labeled training data and generalizes very poorly outside the domain of the training data. At the same time, unsupervised systems have poor accuracy, and often do not generalize well, as they require the input document to belong to a larger corpus also given as input. Addressing these drawbacks, in this paper, we tackle keyphrase extraction from single documents with EmbedRank: a novel unsupervised method, that leverages sentence embeddings. EmbedRank achieves higher F-scores than graph-based state of the art systems on standard datasets and is suitable for real-time processing of large amounts of Web data. With EmbedRank, we also explicitly increase coverage and diversity among the selected keyphrases by introducing an embedding-based maximal marginal relevance (MMR) for new phrases. A user study including over 200 votes showed that, although reducing the phrases' semantic overlap leads to no gains in F-score, our high diversity selection is preferred by humans.

研究动机与目标

• 解决监督式关键短语抽取的局限性，即需要大规模标注数据集且在不同领域间泛化能力差。
• 克服现有无监督方法的缺点，这些方法要么依赖大规模语料库，要么存在冗余和多样性不足的问题。
• 开发一种快速、可扩展且与语料库无关的方法，适用于实时处理网络规模的数据。
• 在不牺牲 F-score 的前提下提升关键短语的多样性与用户偏好，从而挑战 F-score 作为唯一评估指标的充分性。

提出的方法

• 利用预训练的句子嵌入（如 Sent2Vec、Doc2Vec）将完整文档和候选关键词在共享向量空间中表示。
• 通过测量候选关键词嵌入与文档嵌入之间的语义距离来计算信息量。
• 应用基于嵌入的最大边际相关性（MMR）策略，在关键词选择过程中平衡信息量与多样性。
• 采用参数化的 MMR 公式，λ=0.5，以控制冗余度，优先选择既相关又与已选关键词语义上不同的短语。
• 通过词嵌入的加权和将词得分聚合为短语得分，避免因单个词的中心性导致的过度生成。
• 将该方法实现为一个简单、可扩展的流水线，仅依赖输入文档，无需外部语料库。

实验结果

研究问题

• RQ1 无监督的关键短语抽取方法是否能在不依赖大规模训练语料库的前提下，实现比现有基于图的最先进方法更高的 F-score？
• RQ2 通过基于嵌入的 MMR 显式控制冗余，是否能提升人类对抽取关键词的偏好，即使 F-score 保持不变？
• RQ3 与词级别嵌入相比，使用短语级别嵌入在多大程度上提升了关键短语的质量与多样性？
• RQ4 基于句子嵌入的无语料库方法是否既能满足实时处理大规模网络文本数据的速度要求，又能保持有效性？
• RQ5 当人类偏好多样化、非冗余的输出时，F-score 是否仍是关键短语质量的充分或可靠评估指标？

主要发现

• EmbedRank 在三个标准关键短语抽取数据集中的两个上，取得了比当前最先进基于图的方法（如 TextRank、SingleRank、WordAttractionRank）更高的 F-score。
• 214 人次的用户研究显示，70% 的参与者更偏好使用 EmbedRank++（λ=0.5）抽取的关键词，而非 EmbedRank（λ=1）的结果，表明人类对多样性的强烈偏好。
• 尽管人类更偏好多样化关键词，EmbedRank++ 的 F-score 却出现可测量的下降，表明自动评估与人类判断之间存在脱节。
• 该方法具有可扩展性和高效性，Sent2Vec 支持快速推理，使其适用于大规模网络和社交媒体数据的实时处理。
• EmbedRank++ 通过选择语义上不同的短语减少了冗余，即使这些短语未出现在标准答案中，凸显了 F-score 可能惩罚语义等价但不完全相同的关键词的风险。
• 本研究提出了关于 F-score 作为关键短语抽取主要评估指标可靠性的关键疑问，呼吁开发融合人类偏好的新型评估方法。