[论文解读] Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees

Swarnadeep Saha, Shiyue Zhang+2 more|arXiv (Cornell University)|Sep 21, 2022

Topic Modeling被引用 7

一句话总结

本文提出了摘要程序（Summarization Programs, SPs），一种模块化、可解释的摘要生成框架，将摘要生成表示为对源文档句子进行一系列神经模块操作（如压缩、改写、融合）的树形结构序列。SP-Search能够高效识别出能以高ROUGE分数复现人类摘要的SPs，基于SP的seq2seq模型可生成可解释的程序，从而提升模型的可解释性与推理可追溯性。

ABSTRACT

Current abstractive summarization models either suffer from a lack of clear interpretability or provide incomplete rationales by only highlighting parts of the source document. To this end, we propose the Summarization Program (SP), an interpretable modular framework consisting of an (ordered) list of binary trees, each encoding the step-by-step generative process of an abstractive summary sentence from the source document. A Summarization Program contains one root node per summary sentence, and a distinct tree connects each summary sentence (root node) to the document sentences (leaf nodes) from which it is derived, with the connecting nodes containing intermediate generated sentences. Edges represent different modular operations involved in summarization such as sentence fusion, compression, and paraphrasing. We first propose an efficient best-first search method over neural modules, SP-Search that identifies SPs for human summaries by directly optimizing for ROUGE scores. Next, using these programs as automatic supervision, we propose seq2seq models that generate Summarization Programs, which are then executed to obtain final summaries. We demonstrate that SP-Search effectively represents the generative process behind human summaries using modules that are typically faithful to their intended behavior. We also conduct a simulation study to show that Summarization Programs improve the interpretability of summarization models by allowing humans to better simulate model reasoning. Summarization Programs constitute a promising step toward interpretable and modular abstractive summarization, a complex task previously addressed primarily through blackbox end-to-end neural systems. Supporting code available at https://github.com/swarnaHub/SummarizationPrograms

研究动机与目标

• 解决端到端抽象摘要模型中可解释性不足的问题，这些模型常生成缺乏明确推理轨迹的非事实性内容。
• 克服抽取式理由（extractive rationales）的局限性，后者仅突出源文本片段，而未建模摘要句子的实际生成过程。
• 构建一种将摘要生成建模为逐步推理过程的框架，利用可执行的神经模块实现可追溯且忠实的摘要生成。
• 通过提供结构化、可执行的程序作为中间表示，使人类用户能够模拟和理解模型的推理过程。

提出的方法

• 提出摘要程序（SPs）作为有序的二叉树列表，其中叶节点为源文档句子，内部节点为通过神经模块生成的中间句子，根节点为最终的摘要句子。
• 设计三种任务特定的神经模块——句子压缩、改写和融合——并在预训练语言模型上进行微调，以实现忠实且事实依据充分的操作。
• 开发SP-Search，一种最佳优先搜索算法，通过维护一个优先队列，迭代地将模块应用于文档句子，以最大化与标准摘要的ROUGE分数。
• 将SP-Search的输出作为监督信号，训练两种seq2seq模型：Extract-and-Build SP与Direct SP生成，两者均旨在从源文档生成SPs。
• 使用相同的神经模块执行生成的SPs，以生成最终摘要，从而实现端到端训练与推理，同时保持可解释性。
• 开展模拟研究，让人类参与者使用SPs模拟模型推理，结果表明模型行为的泛化能力与可预测性均得到提升。

实验结果

研究问题

• RQ1 我们能否自动识别出一种摘要程序（SP），以忠实反映人类撰写的抽象摘要的生成过程？
• RQ2 SPs能否作为有效的中间表示，用于训练模型生成可解释、可执行的程序，从而生成准确的摘要？
• RQ3 SPs在多大程度上通过使人类能够模拟和泛化模型推理模式，提升了摘要模型的可解释性？

主要发现

• SP-Search在CNN/DailyMail和XSum数据集上显著优于基线方法，能有效以高ROUGE分数重建人类摘要。
• 人工评估确认，神经模块与其预期操作（如压缩、融合）高度一致，且生成结果具有事实依据。
• 在模拟研究中，SPs提升了模型推理的可预测性：61%的测试案例ROUGE-2分数得到提升（p < 0.001），表明SPs有助于人类在不同模型行为间实现泛化。
• SPs中最常见的错误是冗余或过长的路径，以及融合模块生成的非事实性输出，提示在模块设计与模块组合方面仍有改进空间。
• SPs可实现摘要内容向源句子的可追溯性，为调试摘要中幻觉或错误内容提供了可行路径。
• 该框架具备可扩展性，支持集成更多神经模块，以支持压缩、改写和融合之外的其他文本操作。