[论文解读] Summarize, Outline, and Elaborate: Long-Text Generation via Hierarchical Supervision from Extractive Summaries

Xiaofei Sun, Zijun Sun+3 more|arXiv (Cornell University)|Oct 14, 2020

Topic Modeling参考文献 69被引用 6

一句话总结

本文提出SOE，一种分层文本生成框架，通过先对文本段落进行摘要，再生成大纲，最后将每个摘要扩展为完整文本，从而提升长文本生成质量。通过无监督重建方法提取段落摘要，SOE实现了高层规划、保留了语篇依赖关系，并支持更长的上下文建模，从而在生成质量上显著优于自回归基线模型，且收敛速度更快。

ABSTRACT

The difficulty of generating coherent long texts lies in the fact that existing models overwhelmingly focus on predicting local words, and cannot make high level plans on what to generate or capture the high-level discourse dependencies between chunks of texts. Inspired by human writing processes, where a list of bullet points or a catalog is first outlined, and then each bullet point is expanded to form the whole article, we propose {\it SOE}, a pipelined system that involves of summarizing, outlining and elaborating for long text generation: the model first outlines the summaries for different segments of long texts, and then elaborates on each bullet point to generate the corresponding segment. To avoid the labor-intensive process of summary soliciting, we propose the {\it reconstruction} strategy, which extracts segment summaries in an unsupervised manner by selecting its most informative part to reconstruct the segment. The proposed generation system comes with the following merits: (1) the summary provides high-level guidance for text generation and avoids the local minimum of individual word predictions; (2) the high-level discourse dependencies are captured in the conditional dependencies between summaries and are preserved during the summary expansion process and (3) additionally, we are able to consider significantly more contexts by representing contexts as concise summaries. Extensive experiments demonstrate that SOE produces long texts with significantly better quality, along with faster convergence speed.

研究动机与目标

• 为解决现有模型因过度依赖局部、逐词预测而导致长文本生成不连贯的问题。
• 克服粗粒度到细粒度生成的局限，如提示词容量有限以及对语篇层面依赖关系建模不足。
• 通过将长上下文表示为简洁摘要，使模型能够考虑显著更长的上下文。
• 开发一种无监督方法，无需人工标注摘要即可提取有意义的段落摘要。
• 通过分阶段的摘要-提纲-扩展流程，提升长文本生成的质量与收敛速度。

提出的方法

• SOE采用三阶段流水线：对段落进行摘要，分层地对摘要生成大纲，再将每个摘要扩展为完整文本段落。
• 采用基于重建的策略，通过选择每一段中最具有信息量的部分来无监督地提取抽取式摘要，以重建原始段落。
• 模型在生成摘要时依赖于先前的摘要，通过条件概率捕捉高层语篇依赖关系。
• 文本生成同时依赖于前序段落的标记和当前段落的摘要，实现上下文感知、连贯的扩展。
• 通过使用摘要代替原始标记来表示上下文，将上下文表示与原始标记解耦，使模型能够处理更长的有效上下文长度。
• 推理阶段，模型将对摘要的访问限制在512个标记的上下文窗口内，以评估基于摘要的长上下文建模效果。

实验结果

研究问题

• RQ1 是否可以通过包含摘要、提纲和扩展的分层生成策略，提升长文本的连贯性与质量？
• RQ2 无监督抽取式摘要重建方法在支持长文本生成方面，与有监督或启发式方法相比表现如何？
• RQ3 通过摘要到摘要的条件依赖所捕捉的高层语篇依赖关系，在多大程度上提升了文本连贯性？
• RQ4 使用摘要作为压缩的上下文表示，是否能比原始标记序列实现更好的长上下文建模？
• RQ5 与自回归和提示词基线相比，SOE框架如何影响训练收敛速度？

主要发现

• SOE在BookCorpus数据集上实现了25.7的文本生成PPL，显著优于基线自回归模型（PPL 29.0）和WritingPrompts基线模型。
• 基于重建的摘要提取方法表现最佳，MJ-4得分为19.4，超过TextRank（17.8）和TF-IDF（17.3）。
• 采用基于连贯性的文本切分可提升性能，而等长切分使PPL从25.7上升至26.4，表明语义分割的重要性。
• 将摘要访问限制在仅前1,156个标记的上下文内，使PPL从25.7上升至26.5，表明摘要能有效支持长上下文建模。
• 若将摘要生成简化为仅依赖先前摘要（不依赖段落标记），PPL从30.4上升至31.2，表明段落感知的摘要生成至关重要。
• SOE收敛速度显著快于基线模型——在约20万训练步时达到最优性能，而Vanilla和WritingPrompts模型则需约100万步。