[论文解读] Structured Neural Summarization

Patrick Fernandes, Miltiadis Allamanis+1 more|arXiv (Cornell University)|Nov 5, 2018

Topic Modeling参考文献 38被引用 116

一句话总结

该论文在标准序列编码器中增添图神经网络（GNN）组件，以更好地捕捉结构化数据中的长程关系，从而提升代码与自然语言任务的摘要性能。

ABSTRACT

Summarization of long sequences into a concise statement is a core problem in natural language processing, requiring non-trivial understanding of the input. Based on the promising results of graph neural networks on highly structured data, we develop a framework to extend existing sequence encoders with a graph component that can reason about long-distance relationships in weakly structured data such as text. In an extensive evaluation, we show that the resulting hybrid sequence-graph models outperform both pure sequence models as well as pure graph models on a range of summarization tasks.

研究动机与目标

• 推动使用显式关系结构以改进长序列摘要。
• 提出一种混合序列编码器，将 GNN 与传统序列编码器结合。
• 证明混合模型在多个任务上优于纯序列或纯图基线。

提出的方法

• 使用标准序列模型对输入进行编码，以获得逐-token 表示。
• 用这些 token 表示作为节点特征来初始化一个门控图神经网络 (GGNN)。
• 在构建的图上传播信息，该图编码关系（例如 NEXTTOKEN、IN、REF 边）。
• 通过加权读取来计算图级表示，并与序列表示结合用于解码。
• 采用标准序列解码器（LSTM/Pointer）进行训练，并在多个摘要任务上进行评估。
• 提供可重复的代码和数据增强以提高可重复性。

实验结果

研究问题

• RQ1 将图组件与标准序列编码器结合，是否能够提升对长输入或结构化输入的摘要？
• RQ2 哪些类型的关系边（例如 token-level、语法树、共指）在跨任务中最能提升性能？
• RQ3 混合序列-图模型是否在代码和自然语言摘要任务中优于纯序列和纯图基线？
• RQ4 在这些任务中，不同解码器架构（注意力、复制）下混合模型的表现如何？

主要发现

• 混合序列-图编码器在所有任务上都优于纯序列和纯图基线。
• 在代码的 METHODNAMING 和 METHODDOC 上，GNN 增强模型以相对简单的图结构超越了最先进的技术。
• 在 NLSUMMARIZATION 上，混合模型与专门的自然语言模型相当，尽管某些指标落后于 See et al. (2017) 的最强解码器。
• 消融研究表明，额外的语言结构有帮助，但即使语言线索较少，GNN 仍能带来提升。
• 通过图边的长距离和跨 token 关系，有助于在抽象摘要中维持全局视角。
• 关键的定性示例显示在引用和长距离依赖的处理上有所改进，但仍存在一些重复的问题。