[论文解读] Neural Chinese Word Segmentation with Dictionary Knowledge

Junxin Liu, Fangzhao Wu+3 more|arXiv (Cornell University)|Jul 11, 2018

Natural Language Processing Techniques参考文献 14被引用 4

一句话总结

本文提出两种端到端方法，通过整合词典知识来提升神经网络中文分词（CWS）性能：伪标签数据生成与词性分类任务的多任务学习。实验结果表明，性能显著提升，尤其在低资源条件下，证明词典知识的整合可改善未登录词（OOV）处理能力，并减少对大规模标注数据集的依赖。

ABSTRACT

Chinese word segmentation (CWS) is an important task for Chinese NLP. Recently, many neural network based methods have been proposed for CWS. However, these methods require a large number of labeled sentences for model training, and usually cannot utilize the useful information in Chinese dictionary. In this paper, we propose two methods to exploit the dictionary information for CWS. The first one is based on pseudo labeled data generation, and the second one is based on multi-task learning. The experimental results on two benchmark datasets validate that our approach can effectively improve the performance of Chinese word segmentation, especially when training data is insufficient.

研究动机与目标

• 解决神经网络CWS模型在训练数据不足时难以处理未登录词（OOV）的问题。
• 利用现有中文词典提升模型泛化能力，避免人工特征工程。
• 开发可端到端训练的方法，将词典信息直接整合进神经网络CWS框架。
• 通过引入外部词汇知识，降低对大规模标注数据集的依赖。

提出的方法

• 从中文词典中随机采样词语，并组合成有效词序列，生成伪标签训练句。
• 在真实标注句和生成的伪标签句上联合训练神经CWS模型，使用可学习权重（λ₁）平衡两者贡献。
• 引入多任务学习设置，额外训练一个词性分类头，用于预测字符序列是否构成有效中文词。
• 在CWS任务与词性分类任务之间共享底层神经网络参数，实现联合优化。
• 同时使用内部词典（由训练数据构建）和外部词典（如搜狗词典）以提升覆盖范围与模型鲁棒性。
• 通过加权损失函数联合优化CWS与词性分类目标，其中λ₂控制辅助任务的相对重要性。

实验结果

研究问题

• RQ1 在标注训练数据有限的情况下，词典知识是否能提升神经CWS性能？
• RQ2 通过伪标签数据生成方式引入词典信息，是否能提升模型对OOV词的泛化能力？
• RQ3 与标准神经模型相比，引入词性分类头的多任务学习是否能提升CWS性能？
• RQ4 内部词典与外部词典在提升分词准确率方面表现如何比较？
• RQ5 真实标注数据、伪标签数据与辅助词性分类信号之间的最优平衡是什么？

主要发现

• 所提方法在基准数据集上显著提升CWS性能，尤其在训练数据稀缺时效果更明显。
• 使用外部词典（如搜狗词典）的效果优于仅依赖内部词典。
• 同时使用内部与外部词典可获得最佳结果，表明二者信息具有互补性。
• 随着词典规模增大，性能持续提升，证实更广的词汇覆盖有助于模型学习。
• 存在最优超参数λ₁与λ₂——值过高会因过度强调伪标签或辅助信号而降低性能。
• 案例研究证实，模型能正确分词未登录词如“被害人”及罕见短语如“一口气”，而标准模型则无法正确分词。