[论文解读] Unsupervised Paraphrase Generation via Dynamic Blocking.

Tong Niu, Semih Yavuz+4 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 54被引用 14

一句话总结

本文提出动态屏蔽（Dynamic Blocking）这一解码算法，通过阻止模型重新生成源序列中的标记，使大型预训练自回归模型（如 BART 和 T5）在无监督设置下生成高质量的改写文本。该方法在基准数据集上达到最先进性能，并且无需微调即可跨语言泛化。

ABSTRACT

We propose Dynamic Blocking, a decoding algorithm which enables large-scale pretrained autoregressive models (such as BART, T5, GPT-2 and XLNet) to generate high-quality paraphrases in an unsupervised setting. In order to obtain an alternative surface form, whenever the language model emits a token that is present in the source sequence, we prevent the model from generating the subsequent source token for the next time step. We show that our approach achieves state-of-the-art results on benchmark datasets when compared to previous unsupervised approaches, and is even comparable with strong supervised, in-domain models. We also propose a new automatic metric based on self-BLEU and BERTscore which not only discourages the model from copying the input through, but also evaluates text similarity based on distributed representations, hence avoiding reliance on exact keyword matching. In addition, we demonstrate that our model generalizes across languages without any additional training.

研究动机与目标

• 开发一种解码策略，使大型预训练自回归模型能够在无监督设置下生成改写文本。
• 通过在解码过程中防止重复生成源序列中的标记，提升改写质量。
• 构建一种鲁棒的自动评估指标，避免依赖精确的关键词匹配。
• 在无需额外训练的情况下，实现零样本跨语言改写生成。
• 仅使用无监督预训练，实现与有监督、领域内模型相当的性能。

提出的方法

• 动态屏蔽在模型刚刚生成某个源标记后，禁止其在下一时间步再次生成该标记，从而促进表面形式的多样性。
• 该方法适用于任何自回归模型，包括 BART、T5、GPT-2 和 XLNet，在解码阶段应用。
• 提出一种结合自相似 BLEU（self-BLEU）与 BERTscore 的新自动评估指标，无需精确匹配即可评估改写质量。
• 通过测量生成输出与输入之间的相似性（使用上下文嵌入），对复制行为进行惩罚。
• 该方法无需微调即可应用，支持零样本跨语言改写生成。
• 解码策略根据源序列中是否存在该标记，动态屏蔽相关标记，从而提升多样性。

实验结果

研究问题

• RQ1 能否通过一种解码算法在无监督设置下不进行微调，提升改写质量？
• RQ2 动态屏蔽在防止模型复制输入标记方面有多有效？
• RQ3 所提出的指标能否在不依赖精确匹配的情况下可靠评估改写质量？
• RQ4 模型在零样本跨语言改写生成任务中的泛化能力如何？
• RQ5 动态屏蔽的性能与有监督的领域内模型相比如何？

主要发现

• 动态屏蔽在无监督设置下的基准改写数据集上达到最先进性能。
• 尽管未进行微调，模型性能仍可与强大的有监督、领域内改写模型相媲美。
• 基于 self-BLEU 与 BERTscore 的新指标能有效评估改写质量，同时抑制输入复制行为。
• 该方法无需额外训练或微调，即可在不同语言间实现良好泛化。
• 与标准解码相比，该方法显著提升了改写文本的多样性与表面形式变化。
• 模型在避免词汇重复的同时，保持了与输入的高语义相似性。