[论文解读] Towards Accurate Word Segmentation for Chinese Patents

Si Li, Nianwen Xue|arXiv (Cornell University)|Nov 30, 2016

Natural Language Processing Techniques参考文献 32被引用 3

一句话总结

本论文提出了一种基于字符的半监督序列标注模型，用于在专利文本中实现高精度的中文分词，利用了142篇专利的手动分词语料库以及来自中文树库的增强特征。该模型在保留测试集上的F1得分为95.08%，在开发集上达到96.59%，显著优于仅使用通用领域数据（如中文树库）训练的模型。

ABSTRACT

A patent is a property right for an invention granted by the government to the inventor. An invention is a solution to a specific technological problem. So patents often have a high concentration of scientific and technical terms that are rare in everyday language. The Chinese word segmentation model trained on currently available everyday language data sets performs poorly because it cannot effectively recognize these scientific and technical terms. In this paper we describe a pragmatic approach to Chinese word segmentation on patents where we train a character-based semi-supervised sequence labeling model by extracting features from a manually segmented corpus of 142 patents, enhanced with information extracted from the Chinese TreeBank. Experiments show that the accuracy of our model reached 95.08% (F1 score) on a held-out test set and 96.59% on development set, compared with an F1 score of 91.48% on development set if the model is trained on the Chinese TreeBank. We also experimented with some existing domain adaptation techniques, the results show that the amount of target domain data and the selected features impact the performance of the domain adaptation techniques.

研究动机与目标

• 解决现有中文分词模型在专利文本上表现不佳的问题，原因在于其依赖于通用领域训练数据。
• 提升对中文专利中常见科技术语的分词准确率。
• 开发一种实用且数据高效的解决方案，结合有限的手动标注专利数据与外部语言资源。
• 评估领域自适应技术在低资源专利分词场景下的有效性。
• 识别影响领域特定分词模型性能的关键特征及数据量阈值。

提出的方法

• 使用142篇中文专利的手动分词语料库训练基于字符的半监督序列标注模型。
• 通过从中文树库提取特征来增强模型，以提升对罕见术语和技术术语的识别能力。
• 应用半监督学习技术，利用未标注的专利文本以增强模型泛化能力。
• 采用条件随机场（CRF）作为序列标注框架，实现对词边界结构化预测。
• 选择并整合领域特定的语言学特征，如词性标注和词形模式。
• 通过保留测试集和开发集，并采用标准F1得分指标，评估模型性能。

实验结果

研究问题

• RQ1 在仅使用少量手动标注专利语料库的情况下，基于字符的模型是否仍能实现高分词准确率？
• RQ2 来自中文树库的特征在多大程度上提升了模型对专利文本中技术术语的识别能力？
• RQ3 目标领域（专利）训练数据量在多大程度上影响领域自适应技术的性能？
• RQ4 哪些特定特征在提升专利特有术语分词性能方面最为有效？
• RQ5 与仅在通用领域语料库（如中文树库）上训练的基线模型相比，所提出的模型表现如何？

主要发现

• 所提出的模型在保留测试集上实现了95.08%的F1得分，表明其在中文专利分词任务中具有高精度。
• 在开发集上，模型达到96.59%的F1得分，显著优于仅在中文树库上训练的模型（F1得分为91.48%）。
• 整合中文树库的特征显著增强了模型对专利中罕见和术语性词汇的识别能力。
• 当目标领域数据量充足时，领域自适应技术才表现出强劲性能，凸显数据量作为关键因素的重要性。
• 特征选择对模型性能有显著影响，某些语言学特征对准确率的贡献明显高于其他特征。
• 半监督方法通过利用未标注的专利文本，有效提升了模型泛化能力，尤其在低资源场景下表现突出。