[论文解读] PEYMA: A Tagged Corpus for Persian Named Entities

Mahsa S. Shahshahani, Mahdi Mohseni+2 more|arXiv (Cornell University)|Jan 30, 2018

Natural Language Processing Techniques被引用 7

一句话总结

本文介绍了 PEYMA，这是一个从十个伊朗网站的新闻文章中构建的大规模、免费获取、带标签的波斯语命名实体识别（NER）语料库。受 CoNLL 和 MUC 标准的启发，作者制定了标准化的数据集，对人名、地名和组织机构名实体进行了统一标注，解决了波斯语自然语言处理领域缺乏基准资源的问题，从而支持波斯语 NER 系统的改进训练与评估。

ABSTRACT

The goal in the NER task is to classify proper nouns of a text into classes such as person, location, and organization. This is an important preprocessing step in many NLP tasks such as question-answering and summarization. Although many research studies have been conducted in this area in English and the state-of-the-art NER systems have reached performances of higher than 90 percent in terms of F1 measure, there are very few research studies for this task in Persian. One of the main important causes of this may be the lack of a standard Persian NER dataset to train and test NER systems. In this research we create a standard, big-enough tagged Persian NER dataset which will be distributed for free for research purposes. In order to construct such a standard dataset, we studied standard NER datasets which are constructed for English researches and found out that almost all of these datasets are constructed using news texts. So we collected documents from ten news websites. Later, in order to provide annotators with some guidelines to tag these documents, after studying guidelines used for constructing CoNLL and MUC standard English datasets, we set our own guidelines considering the Persian linguistic rules.

研究动机与目标

• 为研究解决标准化、大规模波斯语 NER 数据集稀缺的问题。
• 创建一个可靠、一致且公开可用的语料库，用于波斯语 NER 系统的训练与评估。
• 开发针对波斯语语言结构的标注指南，受 CoNLL 和 MUC 等成熟英文 NER 数据集的启发。
• 从多样化的新闻来源收集并标注大量波斯语文本，以确保语言多样性与覆盖范围。
• 支持问答、摘要生成和信息抽取等下游自然语言处理任务在波斯语中的应用。

提出的方法

• 从十个伊朗新闻网站收集文档，以确保语言多样性与现实相关性。
• 基于对 CoNLL 和 MUC 英文 NER 数据集的分析，设计了适配波斯语形态句法与拼写特征的标注指南。
• 使用开发的标注指南，由人工标注者对收集到的文本中的命名实体进行标注。
• 将实体分类为标准类别：人名、地名和组织机构名。
• 通过迭代标注、审查与一致性检查，确保标注的一致性与质量。
• 按照开放获取原则，将最终语料库公开发布，供研究使用。

实验结果

研究问题

• RQ1 如何构建一个能反映现实语言变异的标准化波斯语 NER 语料库？
• RQ2 如何设计波斯语 NER 的标注指南，以确保一致性并符合现有英文 NER 标准？
• RQ3 使用自定义指南标注波斯语命名实体时，可达到怎样的标注者间一致性水平？
• RQ4 大规模、公开可用的波斯语 NER 语料库是否能显著提升波斯语 NLP 系统的性能？
• RQ5 与英文 NER 数据集相比，创建波斯语 NER 数据集面临哪些关键挑战？

主要发现

• PEYMA 语料库包含大量标注了命名实体的波斯语文本，为波斯语自然语言处理提供了基础性资源。
• 标注过程实现了高水平的一致性，表明所开发的标注指南具有有效性。
• 该语料库已公开发布，可广泛用于波斯语 NER 系统的训练与评估。
• 数据集源自真实新闻文章，增强了其代表性与在实际自然语言处理应用中的实用性。
• 本研究通过提供首个大规模、标准化且免费获取的波斯语 NER 语料库，填补了波斯语自然语言处理领域的重要空白。
• 本研究证明，通过结构化指南与细致标注，为低资源语言（如波斯语）构建高质量 NER 语料库是可行的。