[论文解读] Multi-Task Learning for Cross-Lingual Abstractive Summarization

Sho Takase, Naoaki Okazaki|arXiv (Cornell University)|Oct 15, 2020

Topic Modeling参考文献 33被引用 6

一句话总结

该论文提出 Transum，一种多任务学习框架，通过联合训练真实单语摘要数据、平行翻译对以及使用特殊任务特定标记的伪跨语言摘要数据，来增强跨语言抽象摘要生成。该方法在中文-英文和阿拉伯文-英文摘要任务上取得了最先进（SOTA）的 ROUGE 分数，并显著提升了强基线模型的机器翻译性能。

ABSTRACT

We present a multi-task learning framework for cross-lingual abstractive summarization to augment training data. Recent studies constructed pseudo cross-lingual abstractive summarization data to train their neural encoder-decoders. Meanwhile, we introduce existing genuine data such as translation pairs and monolingual abstractive summarization data into training. Our proposed method, Transum, attaches a special token to the beginning of the input sentence to indicate the target task. The special token enables us to incorporate the genuine data into the training data easily. The experimental results show that Transum achieves better performance than the model trained with only pseudo cross-lingual summarization data. In addition, we achieve the top ROUGE score on Chinese-English and Arabic-English abstractive summarization. Moreover, Transum also has a positive effect on machine translation. Experimental results indicate that Transum improves the performance from the strong baseline, Transformer, in Chinese-English, Arabic-English, and English-Japanese translation datasets.

研究动机与目标

• 通过利用现有的真实平行语料库（如单语摘要和翻译对）来解决大规模跨语言抽象摘要数据集稀缺的问题。
• 在仅使用机器翻译生成的伪平行数据上进行训练的模型之外，进一步提升跨语言抽象摘要模型的性能。
• 探索是否通过使用多种数据类型的多任务学习，能够同时提升摘要生成和机器翻译的性能。
• 开发一个更真实的跨语言摘要评估基准，其中每篇文档包含多种长度约束。

提出的方法

• Transum 使用共享的编码器-解码器架构，并在输入句子前添加特殊任务标记（例如，<Trans>、<Summ>）以指示目标任务。
• 模型在三个任务上进行联合训练：机器翻译、单语抽象摘要和跨语言抽象摘要，均使用相同的架构。
• 通过翻译源文档后对翻译后的文本进行摘要，构建伪跨语言摘要数据，形成训练样本对。
• 该框架在不修改架构的前提下，将真实单语摘要数据和平行翻译对整合进训练数据中。
• 任务特定标记使模型能够在推理过程中根据目标任务动态调整其行为。
• 通过将现有单语摘要数据集（包含多长度摘要）进行翻译，构建了一个新的测试集，以模拟真实场景下的长度控制摘要任务。

实验结果

研究问题

• RQ1 在仅使用伪数据训练的基础上，结合真实单语摘要和翻译数据是否能进一步提升跨语言抽象摘要的性能？
• RQ2 仅使用任务标记的简单多任务学习设置是否优于为每个任务设计专用解码器的复杂架构？
• RQ3 使用多种数据类型的多任务学习在多大程度上能提升下游机器翻译性能？
• RQ4 一个统一的模型是否能通过单一架构有效处理多种自然语言处理任务——包括翻译、摘要和跨语言摘要？
• RQ5 在每篇文档包含多种长度约束的现实评估条件下，模型表现如何？

主要发现

• Transum 在中文-英文和阿拉伯文-英文跨语言抽象摘要任务上取得了最先进（SOTA）的 ROUGE 分数，优于先前方法。
• 即使未进行任务特定设计，Transum 在中文-英文翻译任务上的机器翻译性能也比 Transformer 基线模型高出约 8 个 BLEU 分数。
• Transum 在 JIJI 英文-日文翻译基准上的表现优于此前的最先进方法，展现出强大的泛化能力。
• 当与摘要和翻译数据联合训练时，该方法显著提升了机器翻译任务的性能。
• 包含多种长度约束的新测试集表明，Transum 能够有效控制输出长度，真实模拟现实世界摘要需求。
• 尽管设计更简单（仅使用任务标记），Transum 的性能仍优于 Zhu 等人（2019）提出的多任务方法，后者需要额外的解码器。