[论文解读] SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese Spelling Check

Xingyi Cheng, Weidi Xu+6 more|arXiv (Cornell University)|Apr 26, 2020

Natural Language Processing Techniques参考文献 22被引用 24

一句话总结

SpellGCN 提出了一种图卷积网络，将汉字之间的语音相似性和视觉相似性整合到 BERT 等预训练语言模型中，用于中文拼写检查（CSC）。通过构建独立的发音相似性图和形状相似性图，SpellGCN 学习到相互依赖的字符表征，在语义和语音约束下均提升了纠错准确率，在三个基准数据集上实现了最先进性能。

ABSTRACT

Chinese Spelling Check (CSC) is a task to detect and correct spelling errors in Chinese natural language. Existing methods have made attempts to incorporate the similarity knowledge between Chinese characters. However, they take the similarity knowledge as either an external input resource or just heuristic rules. This paper proposes to incorporate phonological and visual similarity knowledge into language models for CSC via a specialized graph convolutional network (SpellGCN). The model builds a graph over the characters, and SpellGCN is learned to map this graph into a set of inter-dependent character classifiers. These classifiers are applied to the representations extracted by another network, such as BERT, enabling the whole network to be end-to-end trainable. Experiments (The dataset and all code for this paper are available at https://github.com/ACL2020SpellGCN/SpellGCN) are conducted on three human-annotated datasets. Our method achieves superior performance against previous models by a large margin.

研究动机与目标

• 解决由汉字之间语音和视觉相似性引起的中文拼写错误问题。
• 通过将字符相似性的先验知识直接注入表征空间，提升中文拼写检查（CSC）性能。
• 开发一种端到端可训练的模型，利用语义上下文和相似性约束实现更精确的纠错。
• 克服先前方法将相似性视为外部规则或混淆集而未建模字符间依赖关系的局限性。

提出的方法

• SpellGCN 构建了两个独立的图：一个用于汉字之间的语音相似性，另一个用于视觉（形状）相似性。
• 在两个图中分别应用图卷积网络（GCNs），以传播和聚合相似字符之间的表征。
• 通过带有可学习参数 β 的注意力融合机制，将两个 GCN 分支的输出进行融合，以平衡语音和视觉信号。
• 最终的字符级表征通过分类器头对 BERT 的上下文嵌入进行优化，实现端到端训练。
• 该方法在人工标注的 CSC 数据集上进行端到端训练，图结构基于已知的字符相似性知识构建。
• 模型使用 t-SNE 可视化验证了 SpellGCN 能够成功按发音和形状对字符进行聚类，证实其成功注入了相似性的归纳偏置。

实验结果

研究问题

• RQ1 将语音和视觉相似性整合到预训练语言模型中，能否提升中文拼写纠错性能？
• RQ2 基于图结构中相似字符之间的交互，与孤立的相似性规则相比，对纠错准确率有何影响？
• RQ3 在深度学习框架中，最优的语音和视觉相似性信号组合方式是什么？
• RQ4 该模型是否学习到了能反映语义以及语音/视觉相似性的有意义表征？
• RQ5 基于图的方法能否超越 BERT 并应用于其他需要相似性感知建模的自然语言处理任务？

主要发现

• SpellGCN 在三个主要中文拼写检查基准上实现了最先进性能，显著优于先前模型。
• 在 SIGHAN 2013 数据集上，SpellGCN 使用注意力融合（β=3）时，字符级别的 F1 得分为 68.2%，显著优于无 SpellGCN 的基线模型（67.0%）。
• 消融实验表明，β=3 的注意力融合方式表现最佳，表明语音与视觉信号的平衡融合至关重要。
• t-SNE 可视化证实，SpellGCN 能够按发音和形状对字符形成有意义的聚类，验证了其注入相似性归纳偏置的能力。
• 案例研究显示，SpellGCN 在语义和语音约束下均能正确纠错——例如，将 '麻坊' 更正为 '麻烦' 而非 '麻木'，展现了其对发音相似性的尊重。
• 即使在语义上下文模糊的情况下，模型也能基于形状相似性将 '音' 正确更正为 '影'，出现在 '录影机' 中，证明其对视觉相似性的鲁棒性。