[论文解读] Select, Extract and Generate: Neural Keyphrase Generation with Syntactic Guidance.

Wasi Uddin Ahmad, Xiao Bai+2 more|arXiv (Cornell University)|Aug 4, 2020

Advanced Text Analysis Techniques被引用 2

一句话总结

该论文提出SEG-Net，一种新颖的神经关键词生成模型，通过基于Transformer的架构结合句子选择、短语抽取与生成，并引入逐层覆盖注意力和有 informed 的复制注意力机制。该模型联合预测关键词及其词性标签，在七个科学与网页文档基准上实现最先进性能，显著降低计算成本并提升关键内容的覆盖度。

ABSTRACT

In recent years, deep neural sequence-to-sequence framework has demonstrated promising results in keyphrase generation. However, processing long documents using such deep neural networks requires high computational resources. To reduce the computational cost, the documents are typically truncated before given as inputs. As a result, the models may miss essential points conveyed in a document. Moreover, most of the existing methods are either extractive (identify important phrases from the document) or generative (generate phrases word by word), and hence they do not benefit from the advantages of both modeling techniques. To address these challenges, we propose \emph{SEG-Net}, a neural keyphrase generation model that is composed of two major components, (1) a selector that selects the salient sentences in a document, and (2) an extractor-generator that jointly extracts and generates keyphrases from the selected sentences. SEG-Net uses a self-attentive architecture, known as, \emph{Transformer} as the building block with a couple of uniqueness. First, SEG-Net incorporates a novel \emph{layer-wise} coverage attention to summarize most of the points discussed in the target document. Second, it uses an \emph{informed} copy attention mechanism to encourage focusing on different segments of the document during keyphrase extraction and generation. Besides, SEG-Net jointly learns keyphrase generation and their part-of-speech tag prediction, where the later provides syntactic supervision to the former. The experimental results on seven keyphrase generation benchmarks from scientific and web documents demonstrate that SEG-Net outperforms the state-of-the-art neural generative methods by a large margin in both domains.

研究动机与目标

• 通过选择关键句子而非截断文档来降低神经关键词生成中处理长文档的高计算成本。
• 通过在统一框架内整合抽取与生成，克服纯抽取式或生成式关键词模型的局限性。
• 通过联合生成关键词的词性标注，引入句法监督以提升模型性能。
• 通过逐层覆盖注意力和有 informed 的复制注意力机制，增强注意力机制以更好地覆盖文档中的所有关键点。
• 开发一种在多样化领域（包括科学与网页文档）中保持高性能的模型，且无需依赖文档截断。

提出的方法

• SEG-Net采用两阶段架构：选择器利用自注意力机制从输入文档中识别最关键的句子。
• 抽取-生成组件使用基于Transformer的编码器-解码器框架处理所选句子，引入一种新颖的逐层覆盖注意力机制，以跨层总结关键信息。
• 提出一种有 informed 的复制注意力机制，在关键词生成过程中引导注意力聚焦于文档的相关段落，提升对源内容的忠实度。
• 模型联合训练关键词生成与词性标注任务，利用句法信息监督并优化生成过程。
• 编码器使用多头自注意力机制建模所选句子中的长距离依赖关系，而解码器则通过覆盖与复制机制自回归地生成关键词。
• 模型采用端到端训练，结合生成任务的交叉熵损失与词性标注任务的交叉熵损失，实现联合优化。

实验结果

研究问题

• RQ1 结合句子选择、短语抽取与神经生成的混合方法是否能超越纯抽取式或生成式关键词模型？
• RQ2 通过词性标注引入句法监督在多大程度上能提升关键词生成性能？
• RQ3 逐层覆盖注意力机制在多大程度上增强了模型覆盖长文档中所有关键内容的能力？
• RQ4 有 informed 的复制注意力机制是否能提升模型在生成过程中对相关源短语的关注度，尤其是在长文档中？
• RQ5 所提出的架构是否能在无需文档截断的情况下，保持在科学与网页文档等多样化领域中的强性能？

主要发现

• SEG-Net在七个关键词生成基准上超越了最先进神经生成方法，在科学与网页文档领域均表现出一致的性能提升。
• 将词性标注作为联合学习目标，通过句法监督显著提升了关键词生成质量。
• 逐层覆盖注意力机制有效捕捉并总结文档中的关键点，相比截断基线方法显著减少了信息损失。
• 有 informed 的复制注意力机制增强了模型对相关源短语的关注能力，提升了生成的准确度与相关性。
• 两阶段设计（先选择关键句子再生成）在降低计算成本的同时保持了性能，尤其在长文档中表现更优。
• 该模型在无需文档截断的情况下实现卓越性能，从而避免了长输入中关键内容的丢失。