[论文解读] Named Entity Recognition on Twitter for Turkish using Semi-supervised Learning with Word Embeddings

Eda Okur, Hakan Demir+1 more|arXiv (Cornell University)|Oct 20, 2018

Topic Modeling参考文献 16被引用 5

一句话总结

本文提出了一种半监督神经网络方法，用于在土耳其语推特数据上进行命名实体识别（NER），利用从无标签推特语料库中学习的领域内词嵌入以及语言无关特征。该系统未使用名录（gazetteers）或语言特定规则，便在两个土耳其语推特数据集上取得了 48.96% 和 56.79% 的最先进 F 分数，优于依赖人工名录和归一化的先前方法。

ABSTRACT

Recently, due to the increasing popularity of social media, the necessity for extracting information from informal text types, such as microblog texts, has gained significant attention. In this study, we focused on the Named Entity Recognition (NER) problem on informal text types for Turkish. We utilized a semi-supervised learning approach based on neural networks. We applied a fast unsupervised method for learning continuous representations of words in vector space. We made use of these obtained word embeddings, together with language independent features that are engineered to work better on informal text types, for generating a Turkish NER system on microblog texts. We evaluated our Turkish NER system on Twitter messages and achieved better F-score performances than the published results of previously proposed NER systems on Turkish tweets. Since we did not employ any language dependent features, we believe that our method can be easily adapted to microblog texts in other morphologically rich languages.

研究动机与目标

• 为解决在非正式、形态丰富的微博文本（如推特）上土耳其语 NER 性能较低的挑战。
• 开发一种鲁棒的土耳其语推特 NER 系统，不依赖于语言相关特征（如名录或首字母大写规则）。
• 评估从无标签推特数据中学习的领域内词嵌入在提升 NER 性能方面的有效性。
• 证明无监督词表示在低资源、非正式文本环境中可优于传统文本归一化方法。
• 提供一个公开可用、可适应性强的 NER 系统，适用于形态丰富语言且对语言资源依赖极低。

提出的方法

• 采用两阶段半监督学习框架：首先在大规模无标签土耳其语语料库（网络+推特）上训练词嵌入，然后在标注数据上微调神经网络。
• 使用带有负采样的跳字模型（SGNS）从无标签语料库中快速学习密集词表示。
• 将学习到的词嵌入与语言无关特征（如字符 n-gram、大小写模式）结合，以提升在非正式文本上的泛化能力。
• 使用组合特征训练序列标注模型（可能是 CRF 或前馈网络），以预测推特推文中实体标签。
• 将文本归一化作为基线比较，但发现仅使用词嵌入即可获得更优性能。
• 在较小的标注推特数据集上使用 10 折交叉验证，以评估模型的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 与标准预训练嵌入相比，从无标签土耳其推特中学习的领域内词嵌入是否能提升 NER 性能？
• RQ2 在不使用名录或语言特定特征的情况下，半监督神经网络方法是否优于现有的土耳其语推特 NER 系统？
• RQ3 在处理土耳其语推特的非正式语言时，基于词嵌入的表示学习是否比文本归一化更有效？
• RQ4 在不重新训练的情况下，仅在正式文本上训练的系统在非正式推特数据上的泛化能力有多强？
• RQ5 能否仅使用词嵌入和通用特征训练的模型，适配到其他形态丰富的语言且对语言资源依赖极低？

主要发现

• 所提系统在 TwtDS-2 数据集上取得了 48.96% 的 F 分数，超过了 Küçük 和 Steinberger（2014）报告的先前最先进结果 48.13%。
• 在 TwtDS-1 数据集上，系统取得了 46.61% 的 F 分数，优于同一研究中先前的最佳结果 38.01%。
• 该系统优于所有先前的土耳其语推特 NER 系统，包括使用名录和变音符号扩展的系统，且未依赖任何语言相关特征。
• 使用来自网络+推特语料库的领域内词嵌入，性能优于将文本归一化作为预处理步骤的方法。
• 即使在较小的、领域内的推特数据集上进行训练，该模型在两个数据集上均取得了最高性能，表明其对非正式文本具有强大的泛化能力。
• 该系统在未使用首字母大写或大小写特征的情况下性能依然很高，表明其对非正式书写风格具有鲁棒性。