[论文解读] Parallel Iterative Edit Models for Local Sequence Transduction

Abhijeet Awasthi, Sunita Sarawagi+3 more|arXiv (Cornell University)|Oct 7, 2019

Natural Language Processing Techniques参考文献 36被引用 6

一句话总结

该论文提出并行迭代编辑（PIE）模型，一种用于局部序列转换任务（如语法错误修正，GEC）的非自回归序列标注方法。通过预测编辑操作（如复制、追加、替换）而非输出标记，进行迭代优化，并对 BERT 的 logit 进行编辑及其参数的分解，PIE 在实现接近最先进准确率的同时，将解码延迟降低了 5–15 倍，相比自回归模型。

ABSTRACT

We present a Parallel Iterative Edit (PIE) model for the problem of local sequence transduction arising in tasks like Grammatical error correction (GEC). Recent approaches are based on the popular encoder-decoder (ED) model for sequence to sequence learning. The ED model auto-regressively captures full dependency among output tokens but is slow due to sequential decoding. The PIE model does parallel decoding, giving up the advantage of modelling full dependency in the output, yet it achieves accuracy competitive with the ED model for four reasons: 1.~predicting edits instead of tokens, 2.~labeling sequences instead of generating sequences, 3.~iteratively refining predictions to capture dependencies, and 4.~factorizing logits over edits and their token argument to harness pre-trained language models like BERT. Experiments on tasks spanning GEC, OCR correction and spell correction demonstrate that the PIE model is an accurate and significantly faster alternative for local sequence transduction.

研究动机与目标

• 解决自回归编码器-解码器模型在局部序列转换任务（如 GEC）中推理延迟过高的问题。
• 开发一种快速、支持并行解码的替代方案，在不进行序列生成的前提下保持竞争力的准确率。
• 将序列转换重新定义为对输入标记的原地编辑标注，降低复杂度并提升效率。
• 在非自回归编辑预测框架中有效利用预训练的双向语言模型（如 BERT）。
• 证明迭代优化与编辑空间分解在无需自回归生成的情况下捕捉依赖关系的有效性。

提出的方法

• 该模型将局部序列转换建模为序列标注任务，为每个输入标记分配编辑操作（如复制、追加、替换），而非生成输出标记。
• 其采用紧凑的编辑空间，可泛化至所有标记，包括复合编辑，以合并插入操作与前序操作，提升准确率。
• 通过将自身预测结果反馈至网络，进行多轮迭代优化，实现预测的逐步修正。
• 对最终的 logit 层进行编辑类型及其标记参数的分解，从而有效利用预训练的 BERT 风格双向编码器。
• 通过同时预测所有编辑操作，支持并行解码，显著降低推理时间。
• 利用大规模正确句子语料对语言模型组件进行预训练，增强泛化能力。

实验结果

研究问题

• RQ1 非自回归、支持并行解码的模型是否能在局部序列转换任务中实现与自回归模型相当的准确率？
• RQ2 与输出标记预测相比，预测编辑操作在降低模型复杂度和提升推理速度方面效果如何？
• RQ3 迭代优化在多大程度上可弥补缺乏完整自回归依赖建模的不足？
• RQ4 通过 logit 分解，预训练的双向语言模型（如 BERT）是否能有效适配于编辑预测任务？
• RQ5 在 GEC、OCR 修正和拼写纠正任务中，该方法与现有最先进模型相比，在速度和准确率方面表现如何？

主要发现

• PIE 模型的解码速度比使用束搜索的自回归模型（如 Lichtarge et al., 2019）快 5 至 15 倍。
• 在标准 GEC 数据集上，PIE 实现了接近最先进水平的性能，准确率与自回归模型相当或极为接近。
• 使用将插入操作与前序编辑合并的复合编辑，相比独立预测插入操作，能获得更高的准确率。
• 迭代优化通过隐式建模编辑间的依赖关系，显著提升了预测质量。
• 对 BERT logit 进行编辑类型及其参数的分解，使双向上下文能有效用于编辑预测。
• 该模型在 OCR 修正和拼写纠正任务中表现出强大的泛化能力，性能优于或匹配为这些任务专门设计的现有模型。