[论文解读] PKUSEG: A Toolkit for Multi-Domain Chinese Word Segmentation
PKUSEG 提供一个多领域中文分词工具包，具有领域特定模型、无监督领域适应和词性标注，目标是开箱即用的高性能以及易于迁移学习。
Chinese word segmentation (CWS) is a fundamental step of Chinese natural language processing. In this paper, we build a new toolkit, named PKUSEG, for multi-domain word segmentation. Unlike existing single-model toolkits, PKUSEG targets multi-domain word segmentation and provides separate models for different domains, such as web, medicine, and tourism. Besides, due to the lack of labeled data in many domains, we propose a domain adaptation paradigm to introduce cross-domain semantic knowledge via a translation system. Through this method, we generate synthetic data using a large amount of unlabeled data in the target domain and then obtain a word segmentation model for the target domain. We also further refine the performance of the default model with the help of synthetic data. Experiments show that PKUSEG achieves high performance on multiple domains. The new toolkit also supports POS tagging and model training to adapt to various application scenarios. The toolkit is now freely and publicly available for the usage of research and industry.
研究动机与目标
- 在多领域（新闻、网页、医药、旅游）中实现鲁棒的中文分词。
- 提供领域特定的预训练模型和自上而下/粗到细的微调策略。
- 引入无监督领域自适应，以利用目标领域的未标注数据。
- 实现词性标注和用户训练模型，以支持多样的下游任务。
提出的方法
- 使用快速高精度的 CRF 模型并用 Viterbi 推理进行分词。
- 应用自适应在线梯度下降（ADF）高效训练高维 CRF 特征。
- 在混合领域数据（新闻和网页，含 CTB）上进行粗粒度模型的预训练，并在领域数据上进行微调。
- 引入掩码注意力增强（mA^2），通过翻译和 Transformer 派生合成数据，实现无监督领域自适应。
- 从多个来源构建大型领域词汇表（约 850K 词）以提高覆盖率。
- 提供领域特定和粗粒度分词的工具，以及用户自定义词典和新模型的训练。
实验结果
研究问题
- RQ1PKUSEG 能否在多领域上使用领域特定模型实现高分词准确性？
- RQ2在混合领域数据上进行预培训是否能提高对领域特定目标的表现？
- RQ3无监督领域自适应（mA^2）是否能从未标注资源中生成有用的目标领域数据？
- RQ4与领域特定模型相比，改进后的默认模型对跨域数据的泛化表现如何？
主要发现
- 领域特定模型在所有测试领域都优于默认模型。
- 预训练再微调在药物、网页、新闻、旅游等领域的加权平均F1更高。
- 无监督领域自适应（mA^2）在标注数据稀缺时相较默认模型提升领域性能（在 Science、Art、Entertainment 的平均增益）。
- 用合成数据细化默认模型可提升跨域性能（在跨域数据集上 F1 提升 +0.67），且不损害在域内性能。
- 大型领域词汇表大幅提升领域特定术语覆盖率（总计约 850K 词）。
- 词性标注与分词并行支持，拓宽适用性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。