[论文解读] N-LTP: A Open-source Neural Chinese Language Technology Platform with Pretrained Models.

Wanxiang Che, Yunlong Feng+2 more|arXiv (Cornell University)|Sep 24, 2020

Topic Modeling参考文献 25被引用 36

一句话总结

N-LTP 是一个开源的神经网络中文自然语言处理平台，通过共享的预训练多任务模型并结合知识蒸馏技术，统一了六项核心任务——词法、句法和语义分析，从而提升性能。它在性能上优于单任务基线模型，并提供了易于使用的 API 和可视化工具。

ABSTRACT

We introduce N-LTP, an open-source neural language technology platform supporting six fundamental Chinese NLP tasks: lexical analysis (Chinese word segmentation, part-of-speech tagging, and named entity recognition), {syntactic parsing} (dependency parsing), and {semantic parsing} (semantic dependency parsing and semantic role labeling). Unlike the existing state-of-the-art toolkits, such as Stanza, that adopt an independent model for each task, N-LTP adopts the multi-task framework by using a shared pre-trained model, which has the advantage of capturing the shared knowledge across relevant Chinese tasks. In addition, knowledge distillation where the single-task model teaches the multi-task model is further introduced to encourage the multi-task model to surpass its single-task teacher. Finally, we provide a collection of easy-to-use APIs and a visualization tool to make users easier to use and view the processing results directly. To the best of our knowledge, this is the first toolkit to support six Chinese NLP fundamental tasks. Source code, documentation, and pre-trained models are available at \url{this https URL}.

研究动机与目标

• 开发一个统一的开源平台，支持六项基础中文 NLP 任务。
• 通过引入多任务学习框架，解决现有工具包中各任务使用孤立模型的局限性。
• 通过知识蒸馏技术提升模型性能，即利用单任务教师模型指导多任务模型。
• 通过提供直观的 API 和可视化工具，提升平台的可用性，支持对结果的直接检查。

提出的方法

• 采用共享预训练主干网络的多任务学习框架，以捕捉中文 NLP 中跨任务的知识。
• 整合六项核心 NLP 任务：分词、词性标注、命名实体识别、依存句法分析、语义依存分析和语义角色标注。
• 通过知识蒸馏技术，训练多任务模型以模仿单任务教师模型的预测结果。
• 设计模块化架构，提供标准化 API，便于集成与部署。
• 实现可视化工具，支持对 NLP 输出结构的实时检查。
• 在公开 URL 上发布预训练模型、源代码和完整的文档。

实验结果

研究问题

• RQ1 与孤立模型相比，共享的多任务学习框架是否能有效提升六项不同中文 NLP 任务的性能？
• RQ2 从单任务教师模型中进行知识蒸馏，在多大程度上能提升统一多任务模型的性能？
• RQ3 将词法、句法和语义分析整合到同一平台中，对端到端 NLP 任务流程的效率和准确性有何影响？
• RQ4 一个具备可视化支持的开源、用户友好的工具包，是否能有效支持中文 NLP 领域的研究人员和实践者？

主要发现

• N-LTP 是首个在单一统一框架中支持全部六项基础中文 NLP 任务的开源工具包。
• 经知识蒸馏增强的多任务模型，在性能上优于其单任务教师模型。
• 共享的预训练架构实现了相关任务间的有效知识迁移，提升了泛化能力。
• 平台提供的 API 和可视化工具显著降低了研究人员和开发者的使用门槛。
• 预训练模型和完整文档公开可获取，支持结果复现与广泛采用。
• 在统一框架内集成句法和语义分析，实现了更连贯、上下文一致的语言分析。