[论文解读] Outline Generation: Understanding the Inherent Content Structure of Documents

Ruqing Zhang, Jiafeng Guo+3 more|arXiv (Cornell University)|May 24, 2019

Topic Modeling参考文献 35被引用 5

一句话总结

本文提出轮廓生成（OG）作为一项新颖的结构化摘要任务，旨在通过识别章节和生成连贯一致的标题来揭示文档的固有内容结构。作者提出HiStGen模型，该模型利用马尔可夫段落与标题依赖关系、面向章节的注意力机制以及回顾机制，捕捉段落级、章节标题级和标题间三级连贯性，从而在包含175万组文档-轮廓对的新基准数据集上实现最先进性能。

ABSTRACT

In this paper, we introduce and tackle the Outline Generation (OG) task, which aims to unveil the inherent content structure of a multi-paragraph document by identifying its potential sections and generating the corresponding section headings. Without loss of generality, the OG task can be viewed as a novel structured summarization task. To generate a sound outline, an ideal OG model should be able to capture three levels of coherence, namely the coherence between context paragraphs, that between a section and its heading, and that between context headings. The first one is the foundation for section identification, while the latter two are critical for consistent heading generation. In this work, we formulate the OG task as a hierarchical structured prediction problem, i.e., to first predict a sequence of section boundaries and then a sequence of section headings accordingly. We propose a novel hierarchical structured neural generation model, named HiStGen, for the task. Our model attempts to capture the three-level coherence via the following ways. First, we introduce a Markov paragraph dependency mechanism between context paragraphs for section identification. Second, we employ a section-aware attention mechanism to ensure the semantic coherence between a section and its heading. Finally, we leverage a Markov heading dependency mechanism and a review mechanism between context headings to improve the consistency and eliminate duplication between section headings. Besides, we build a novel WIKIOG dataset, a public collection which consists of over 1.75 million document-outline pairs for research on the OG task. Experimental results on our benchmark dataset demonstrate that our model can significantly outperform several state-of-the-art sequential generation models for the OG task.

研究动机与目标

• 通过识别章节和生成标题，揭示文档的固有内容结构，以应对细粒度文档理解的挑战。
• 将轮廓生成形式化为层次化结构预测问题，要求实现连贯的分割与一致且风格匹配的标题。
• 开发一种模型，以捕捉三个层次的连贯性：段落级用于确定章节边界，章节-标题级用于语义对齐，标题-标题级用于保持一致性并避免重复。
• 建立一个新的基准数据集WIKI OG，包含超过175万组文档-轮廓对，用于训练与评估。

提出的方法

• 将OG形式化为两阶段层次化结构预测：首先通过马尔可夫段落依赖机制预测章节边界，然后利用面向章节的注意力机制生成标题。
• 引入马尔可夫标题依赖机制，以建模相邻标题之间的序列依赖关系，提升生成的一致性。
• 实现一种回顾机制，将生成的标题与先前生成的标题进行比较，以检测并防止重复。
• 使用面向章节的注意力机制，将每个章节的内容与其对应标题对齐，确保语义相关性。
• 采用交叉熵损失进行边界预测，序列生成损失进行标题生成，端到端训练模型。
• 利用WIKI OG数据集——一个大规模、公开可用的维基百科文章及其轮廓配对集合——进行训练与评估。

实验结果

研究问题

• RQ1 神经网络模型如何有效识别多段落文档中的自然章节边界？
• RQ2 如何生成标题以保持与内容的语义连贯性，并与相邻标题保持风格一致性？
• RQ3 哪些机制可提升生成标题序列的一致性并减少重复？
• RQ4 对段落、标题及标题间连贯性的层次化建模在多大程度上能提升轮廓生成性能？

主要发现

• HiStGen在章节边界预测与标题生成两个任务上均显著优于强基线模型（包括Hier和GHD），边界检测的F1分数最高提升达3.5%。
• 马尔可夫标题依赖机制（Hier MHD）在独立或全局依赖模型之上进一步提升标题生成质量，表明局部依赖关系比全局依赖更有效。
• 回顾机制（Hier MHD+RE）进一步提升了标题质量，减少重复并增强一致性，在音乐领域任务中Rouge-1得分较Hier MHD提升0.47分。
• 案例研究证实，HiStGen能正确识别章节边界，避免重复或不一致的标题；而基线模型（IG_CRF+Hier）存在过度分割及生成重复标题的问题。
• 该模型在多种文档类型（包括维基百科文章与科研论文）中均表现出鲁棒性，所有测试领域均实现一致性能提升。
• 相较于基线模型的所有性能增益均具有统计显著性（p < 0.01），验证了所提连贯性建模组件的有效性。