[论文解读] TextBox: A Unified, Modularized, and Extensible Framework for Text Generation

Junyi Li, Tianyi Tang+8 more|arXiv (Cornell University)|Jan 6, 2021

Topic Modeling参考文献 43被引用 4

一句话总结

TextBox 是一个基于 PyTorch 的统一、模块化且可扩展的文本生成框架，支持在 9 个基准数据集上使用 VAE、GAN、RNN、Transformer 和预训练语言模型的 21 种模型。它通过可配置、可重用的组件实现模型的轻松比较与扩展，在摘要任务中达到最先进性能（例如，BART 在 ROUGE-1 上达到 39.34）。

ABSTRACT

In this paper, we release an open-source library, called TextBox, to provide a unified, modularized, and extensible text generation framework. TextBox aims to support a broad set of text generation tasks and models. In our library, we implement 21 text generation models on 9 benchmark datasets, covering the categories of VAE, GAN, and pretrained language models. Meanwhile, our library maintains sufficient modularity and extensibility by properly decomposing the model architecture, inference, and learning process into highly reusable modules, which allows users to easily incorporate new models into our framework. The above features make TextBox specially suitable for researchers and practitioners to quickly reproduce baseline models and develop new models. TextBox is implemented based on PyTorch, and released under Apache License 2.0 at https://github.com/RUCAIBox/TextBox.

研究动机与目标

• 解决文本生成领域缺乏统一、模块化且可扩展框架的问题，以支持多样化的模型与任务。
• 通过提供一致的实现与评估协议，提升文本生成研究的可复现性与标准化水平。
• 减少在不同文本生成任务中实现与比较基线模型所需的时间与精力。
• 通过支持即插即用的可重用组件，促进新模型的开发。
• 支持广泛的文本生成任务，包括文本摘要、机器翻译和对话系统，并提供标准化的评估指标。

提出的方法

• 该框架基于 PyTorch 构建，将模型组件组织为模块化单元：数据、模型、评估和通用组件。
• 采用可配置的流水线机制，用户通过配置文件或命令行参数定义实验，实现灵活的模型与超参数设置。
• 数据模块通过自定义的 Dataset 和 DataLoader 类，同时支持单序列（无条件）和配对序列（有条件）任务。
• 模型组件被解耦为可重用模块，如 RNN/Transformer 编码器、解码器、注意力机制以及预训练语言模型。
• 评估过程实现标准化，支持 BLEU、ROUGE、困惑度和负对数似然等指标，适用于所有模型与数据集。
• 框架确保与 PyTorch API 的兼容性，支持用户自定义模块与函数的无缝集成。

实验结果

研究问题

• RQ1 统一框架在多大程度上能提升文本生成研究的可复现性并降低实现开销？
• RQ2 模块化且可扩展的架构在多任务场景下，能在多大程度上支持多样化的文本生成模型？
• RQ3 在多个模型与数据集上采用标准化评估协议，能否提升公平比较与基准测试的水平？
• RQ4 TextBox 的模块化设计如何促进新模型或组件的快速原型设计与集成？
• RQ5 在文本摘要任务中，使用最先进的预训练模型（如 BART 和 T5）能带来多大的性能提升？

主要发现

• BART 在 GigaWord 文本摘要数据集上取得了最高的 ROUGE-1 得分 39.34，优于 RNN 和 Transformer 基线模型。
• 预训练模型（如 BART、T5 和 ProphetNet）在文本摘要任务中显著优于非预训练模型（如 RNN 和 Transformer），其 ROUGE-L 得分范围为 39.84 至 41.25。
• 在机器翻译任务中，束搜索策略的性能优于贪婪搜索或 Top-k 解码，IWSLT2014 德语到英语翻译任务中的 BLEU 得分得到提升。
• 该框架成功集成了 21 种多样化的文本生成模型，涵盖 VAE、GAN、RNN、Transformer 和基于 PLM 的模型，覆盖 9 个基准数据集。
• 模块化设计通过配置文件实现了模型的无缝配置与比较，显著降低了实现复杂度。
• 该库展现出强大的可扩展性，支持未来新模型、新输入形式（如图、表格）以及分布式训练的集成。