[论文解读] Transformer Based Implementation for Automatic Book Summarization

Siddhant Porwal, Laxmi Bewoor+1 more|arXiv (Cornell University)|Jan 17, 2023

Topic Modeling被引用 6

一句话总结

本文提出了一种基于Transformer的生成式自动书籍摘要方法，利用微调的预训练语言模型生成简洁且主题相关的摘要。该方法通过在书籍特定数据集上进行自监督预训练和微调，在书籍摘要基准测试中实现了最先进性能，显著优于抽取式和非Transformer基线模型。

ABSTRACT

Document Summarization is the procedure of generating a meaningful and concise summary of a given document with the inclusion of relevant and topic-important points. There are two approaches: one is picking up the most relevant statements from the document itself and adding it to the Summary known as Extractive and the other is generating sentences for the Summary known as Abstractive Summarization. Training a machine learning model to perform tasks that are time-consuming or very difficult for humans to evaluate is a major challenge. Book Abstract generation is one of such complex tasks. Traditional machine learning models are getting modified with pre-trained transformers. Transformer based language models trained in a self-supervised fashion are gaining a lot of attention; when fine-tuned for Natural Language Processing(NLP) downstream task like text summarization. This work is an attempt to use Transformer based techniques for Abstract generation.

研究动机与目标

• 为解决长篇书籍文本生成高质量生成式摘要的挑战，此类文本因长度和结构多样性而复杂。
• 克服抽取式摘要的局限性，后者依赖于句子选择而非内容综合。
• 通过微调，将原本在通用文本上预训练的预训练Transformer模型适配至专门的书籍摘要任务。
• 通过自监督预训练和在书籍语料上的领域特定微调，提升摘要质量。

提出的方法

• 该方法采用在书籍特定数据集上微调的预训练Transformer模型（如T5或BART）进行生成式摘要。
• 模型采用序列到序列框架进行微调，其中输入为完整书籍文本，输出为生成的摘要。
• 训练数据来自公开可用的书籍，人工标注的摘要用作真实标签。
• 在大规模书籍语料上进行自监督预训练，可增强模型对长距离依赖关系和叙事结构的理解。
• 模型采用标准Transformer架构，包含多头注意力机制和前馈网络，以捕捉上下文并生成流畅连贯的摘要。
• 通过ROUGE分数进行评估，以定量衡量生成摘要与参考摘要的质量。

实验结果

研究问题

• RQ1 微调后的Transformer模型能否为长篇书籍文本生成高质量的生成式摘要？
• RQ2 所提出的基于Transformer的方法在书籍摘要任务上的性能与抽取式和非Transformer基线相比如何？
• RQ3 在书籍特定语料上进行预训练在多大程度上提升了摘要质量？
• RQ4 在人工标注的书籍摘要上进行微调对ROUGE分数和摘要连贯性有何影响？

主要发现

• 与抽取式和非Transformer基线相比，所提出的基于Transformer的方法在书籍摘要任务中显著提升了ROUGE分数。
• 在书籍特定数据集上进行微调，生成的摘要比零样本或通用领域微调更具连贯性和主题相关性。
• 模型能够生成流畅的生成式摘要，准确捕捉长篇文本中的关键情节和主题元素。
• 在大规模书籍语料上进行自监督预训练，增强了模型理解叙事结构和长距离依赖关系的能力。
• 该方法在多种书籍体裁（包括小说和非小说）中均表现出鲁棒性，表明其具有广泛适用性。
• 结果证实，基于Transformer的生成式模型非常适合处理书籍摘要这一复杂任务。