[论文解读] XL-Editor: Post-editing Sentences with XLNet

Yong-Siang Shih, Wei-Cheng Chang+1 more|arXiv (Cornell University)|Oct 19, 2019

Topic Modeling参考文献 27被引用 7

一句话总结

XL-Editor 是一种新颖的训练框架，通过估计可变长度插入概率，增强 XLNet 以实现后编辑，从而支持高效插入、删除和替换操作。该方法在仅造成轻微 BLEU 分数下降的情况下显著提升了风格迁移的准确性，展示了其在标准序列到序列模型之外的广泛应用潜力。

ABSTRACT

While neural sequence generation models achieve initial success for many NLP applications, the canonical decoding procedure with left-to-right generation order (i.e., autoregressive) in one-pass can not reflect the true nature of human revising a sentence to obtain a refined result. In this work, we propose XL-Editor, a novel training framework that enables state-of-the-art generalized autoregressive pretraining methods, XLNet specifically, to revise a given sentence by the variable-length insertion probability. Concretely, XL-Editor can (1) estimate the probability of inserting a variable-length sequence into a specific position of a given sentence; (2) execute post-editing operations such as insertion, deletion, and replacement based on the estimated variable-length insertion probability; (3) complement existing sequence-to-sequence models to refine the generated sequences. Empirically, we first demonstrate better post-editing capabilities of XL-Editor over XLNet on the text insertion and deletion tasks, which validates the effectiveness of our proposed framework. Furthermore, we extend XL-Editor to the unpaired text style transfer task, where transferring the target style onto a given sentence can be naturally viewed as post-editing the sentence into the target style. XL-Editor achieves significant improvement in style transfer accuracy and also maintains coherent semantic of the original sentence, showing the broad applicability of our method.

研究动机与目标

• 为解决自回归模型（如 XLNet）在模拟人类风格的句子修订时的局限性，此类修订涉及非线性、多位置的编辑操作。
• 使 XLNet 能够高效估计可变长度插入概率，克服标准自回归建模中对固定长度序列的假设。
• 将 XLNet 的能力从生成扩展至后编辑操作，如插入、删除和替换，以提升文本质量。
• 通过将风格迁移重新定义为句子修订，证明后编辑在无配对文本风格迁移中的有效性。
• 通过针对性的、上下文感知的编辑，补充现有序列到序列模型，以优化其输出。

提出的方法

• 引入基于插入的相对位置编码方案，以建模左右上下文序列之间的可变长度插入。
• 通过结合左右上下文的自回归因子分解，估计在任意位置插入子序列的概率。
• 通过学习预测最优编辑点和编辑序列，支持三种后编辑操作——插入、删除和替换。
• 利用预训练的 XLNet 权重，并在编辑序列上使用最大似然估计进行微调。
• 通过条件风格嵌入对目标风格进行条件控制，将模型应用于优化最先进风格迁移模型的输出。
• 采用条件概率估计框架，使模型在源风格和目标风格输入的条件下，学习生成编辑操作。

实验结果

研究问题

• RQ1 XLNet 是否能被有效扩展以支持用于后编辑的可变长度插入概率估计？
• RQ2 与标准自回归生成相比，后编辑操作（插入、删除、替换）是否能提升生成序列的质量？
• RQ3 所提出的 XL-Editor 框架是否能在保持语义连贯性的前提下，提升无配对文本风格迁移的性能？
• RQ4 XL-Editor 是否能以最小的流畅度损失（BLEU）显著提升风格准确性，从而优化现有 SOTA 模型的输出？
• RQ5 与先前基于插入的模型相比，基于插入的相对位置编码在效率和准确性方面有何改进？

主要发现

• 在 Yelp 数据集上，XL-Editor 实现了 98.8% 的风格准确性与 72.9 的 BLEU 分数，优于最佳基线模型（PTO）的 95.7% 风格准确性和 28.75 的 BLEU 分数。
• 在 Amazon 数据集上，XL-Editor 将风格准确性从 PTO 的 40.2% 提升至 43.2%，同时保持了 41.13 的高 BLEU 分数，显示出优异的内容保留能力。
• Yelp 数据集上的 G-score（BLEU 与风格准确性的几何平均）达到 49.2，Amazon 数据集上为 42.2，为所有评估系统中的最高值。
• XL-Editor 能够成功修正模型输出中的细微错误，例如将 'overpriced' 替换为 'reasonably priced'，并去除冗余短语，如定性示例所示。
• 该方法在仅造成轻微 BLEU 分数下降的情况下显著提升了风格准确性，表明其在不损害流畅度的前提下实现了有效优化。
• 该框架通过在两个不同数据集上提升多种 SOTA 模型（包括 UMT 和 PTO）的输出，展示了其广泛的适用性。