[论文解读] Spelling Error Correction with Soft-Masked BERT

Shaohua Zhang, Haoran Huang+2 more|arXiv (Cornell University)|May 15, 2020

Natural Language Processing Techniques参考文献 17被引用 4

一句话总结

本文提出 Soft-Masked BERT，一种双流神经架构，通过使用基于 Bi-GRU 的错误检测网络与基于 BERT 的纠错网络结合软掩码机制，提升中文拼写错误纠正性能。该方法通过概率性掩码实现上下文感知的错误纠正，显著优于标准 BERT 微调，在两个基准数据集上达到最先进性能。

ABSTRACT

Spelling error correction is an important yet challenging task because a satisfactory solution of it essentially needs human-level language understanding ability. Without loss of generality we consider Chinese spelling error correction (CSC) in this paper. A state-of-the-art method for the task selects a character from a list of candidates for correction (including non-correction) at each position of the sentence on the basis of BERT, the language representation model. The accuracy of the method can be sub-optimal, however, because BERT does not have sufficient capability to detect whether there is an error at each position, apparently due to the way of pre-training it using mask language modeling. In this work, we propose a novel neural architecture to address the aforementioned issue, which consists of a network for error detection and a network for error correction based on BERT, with the former being connected to the latter with what we call soft-masking technique. Our method of using `Soft-Masked BERT' is general, and it may be employed in other language detection-correction problems. Experimental results on two datasets demonstrate that the performance of our proposed method is significantly better than the baselines including the one solely based on BERT.

研究动机与目标

• 为解决 BERT 在检测拼写错误方面的局限性，因其预训练目标仅掩码约 15% 的标记，且缺乏显式的错误检测能力。
• 通过将专用错误检测机制与 BERT 的上下文表征相结合，提升中文拼写错误纠正（CSC）中的纠正准确率。
• 通过引入软掩码作为硬掩码的可微分、概率化扩展，构建适用于检测-纠正任务的可泛化框架。
• 在标准及新创建的大规模评估数据集上，实证验证所提出架构的有效性。

提出的方法

• 该模型由两部分组成：基于 Bi-GRU 的检测网络，用于预测每个字符位置的错误概率。
• 利用这些错误概率对 BERT 嵌入进行软掩码，其中字符的嵌入值按其预测错误概率成比例衰减。
• 软掩码是可微分的，且可泛化硬掩码（当错误概率为 1 时，将掩码标记设为零）。
• 软掩码后的嵌入被输入到基于 BERT 的纠错网络，该网络在每个位置从候选字符列表中预测正确字符。
• 整个架构端到端训练，使检测与纠错网络能够联合优化以提升错误纠正性能。
• 该方法利用预训练 BERT 获取上下文表征，并在通过混淆表增强的标注数据上进行微调。

实验结果

研究问题

• RQ1 专用错误检测网络是否能通过提供更精确的错误定位，提升基于 BERT 的拼写错误纠正性能？
• RQ2 作为硬掩码的可微分扩展，软掩码是否相比标准 BERT 微调，能带来更好的上下文建模与更高的纠正准确率？
• RQ3 与标准 BERT 相比，该模型在需要世界知识或推理的复杂错误上的表现如何？
• RQ4 所提出的 Soft-Masked BERT 架构能否泛化到拼写错误纠正之外的其他检测-纠正任务？

主要发现

• Soft-Masked BERT 在 SIGHAN 基准数据集和新创建的新闻标题数据集上，均显著优于标准 BERT 微调。
• 该模型超越了仅基于 BERT 的最先进方法，证明了将显式错误检测与上下文纠错相结合的有效性。
• 该方法在需要世界知识或推理的错误上尤为有效，例如区分 '金子塔'（金色之塔）与 '金字塔'（金字塔），此时 BERT 单独使用会失败。
• 错误分析显示，67% 的错误需要强推理能力，11% 的错误源于缺乏世界知识，22% 为混合或不明确类型，凸显了人类级理解的挑战。
• 检测网络成功识别出非纠正候选项，并引导 BERT 关注相关上下文，提升了纠正的可靠性。
• 消融实验确认，软掩码比硬掩码更有效，且检测与纠正组件的联合训练对性能提升至关重要。