[论文解读] The Annotation Guideline of LST20 Corpus

Prachya Boonkwan, Vorapon Luantangsrisuk+7 more|arXiv (Cornell University)|Aug 12, 2020

Natural Language Processing Techniques被引用 11

一句话总结

本论文提出了 LST20 的标注指南，LST20 是一个大规模、多层级的泰语语言学语料库，包含 316 万词、288,020 个人名实体、248,962 个从句和 74,180 个句子。该研究引入了五个标注层级——词切分、词性标注、命名实体识别、从句边界检测和句子边界检测——采用 CoNLL-2003 格式，支持联合神经网络模型的训练，并确立了泰语在自然语言处理研究中作为语言资源丰富的地位。

ABSTRACT

This report presents the annotation guideline for LST20, a large-scale corpus with multiple layers of linguistic annotation for Thai language processing. Our guideline consists of five layers of linguistic annotation: word segmentation, POS tagging, named entities, clause boundaries, and sentence boundaries. The dataset complies to the CoNLL-2003-style format for ease of use. LST20 Corpus offers five layers of linguistic annotation as aforementioned. At a large scale, it consists of 3,164,864 words, 288,020 named entities, 248,962 clauses, and 74,180 sentences, while it is annotated with 16 distinct POS tags. All 3,745 documents are also annotated with 15 news genres. Regarding its sheer size, this dataset is considered large enough for developing joint neural models for NLP. With the existence of this publicly available corpus, Thai has become a linguistically rich language for the first time.

研究动机与目标

• 建立一个大规模、多层级的泰语语言处理语料库。
• 通过提供标准化、高质量的标注，解决泰语缺乏丰富语言学资源的问题。
• 支持为泰语下游自然语言处理任务开发联合神经网络模型。
• 实现在泰语文本中多种语言学层级上的一致性和可复现标注。
• 丰富泰语的语言学资源格局，使其成为具备强大自然语言处理支持的语言。

提出的方法

• 语料库由 3,745 篇新闻文章构建而成，每篇均标注了 15 种不同的新闻体裁。
• 应用了五个语言学标注层级：词切分、词性（POS）标注（共 16 个标签）、命名实体识别、从句边界检测和句子边界检测。
• 标注遵循 CoNLL-2003 格式，以确保与现有自然语言处理工具和模型的兼容性。
• 制定了详细的标注指南，以标准化标注人员的标注行为并确保一致性。
• 对数据集进行了筛选，包含多样化的新闻体裁，提升了其在训练稳健自然语言处理模型方面的代表性与实用性。
• 对标注者间的一致性进行了监控，以确保所有语言学层级的标注质量。

实验结果

研究问题

• RQ1 如何系统性地构建一个具有统一标注标准的大规模、多层级泰语语料库？
• RQ2 为确保在泰语多种语言学层级上实现高质量、可复现的标注，需要哪些标注指南？
• RQ3 一个单一语料库在多大程度上可以支持为泰语多种自然语言处理任务联合训练神经网络模型？
• RQ4 在语料库中引入体裁级别元数据在多大程度上提升了其在下游自然语言处理应用中的实用性？
• RQ5 一个完整标注的泰语语料库在规模和语言覆盖范围上达到何种程度，能够支持端到端自然语言处理模型的开发？

主要发现

• LST20 语料库包含 3,164,864 个词、288,020 个人名实体、248,962 个从句和 74,180 个句子，适合用于训练大规模神经网络模型。
• 语料库包含 16 种不同的词性标签，为泰语文本提供了细粒度的句法标注。
• 所有 3,745 篇文档均以 15 种不同新闻体裁进行标注，显著提升了语料库的多样性与代表性。
• 采用 CoNLL-2003 格式可实现与现有自然语言处理工具包和训练流程的直接集成。
• 该语料库通过建立一个语言学信息丰富、公开可获取的资源，标志着泰语自然语言处理的重大进展。
• 标准化的标注指南确保了所有语言学层级和标注人员之间的一致性与可复现性。