[论文解读] Short Text Language Identification for Under Resourced Languages

Bernardt Duvenhage|arXiv (Cornell University)|Nov 18, 2019

Authorship Attribution and Profiling参考文献 22被引用 4

一句话总结

本文提出了一种分层朴素贝叶斯与词典结合的分类器，用于低资源南非语言的短文本语言识别，在DSL 2017数据集上实现了98.70%的准确率。该模型利用语言家族分组和词典支持，提升了在相似语言上的性能，在短文本和非正式文本中表现出色，且具有高效率。

ABSTRACT

The paper presents a hierarchical naive Bayesian and lexicon based classifier for short text language identification (LID) useful for under resourced languages. The algorithm is evaluated on short pieces of text for the 11 official South African languages some of which are similar languages. The algorithm is compared to recent approaches using test sets from previous works on South African languages as well as the Discriminating between Similar Languages (DSL) shared tasks' datasets. Remaining research opportunities and pressing concerns in evaluating and comparing LID approaches are also discussed.

研究动机与目标

• 解决在语言相似性高的低资源南非语言中，对短文本和非正式文本进行准确语言识别的挑战。
• 通过分层分类和词典集成，提升在相似语言（如班图语族和索托语族）上的性能。
• 开发一种轻量化、高效的模型，适用于训练数据有限的低资源NLP流水线。
• 在标准化基准测试集（包括DSL 2015和DSL 2017数据集）上，与近期最先进方法进行对比评估。
• 探索词典支持与数据增强在降低对大规模标注语料依赖性方面的作用。

提出的方法

• 提出两级分层分类器：首先按语言家族（如班图语族、索托语族）对语言进行分组，然后使用朴素贝叶斯模型识别具体语言。
• 集成词典组件以增强在相似语言之间的区分能力，特别是在低资源环境下。
• 使用字符级n-gram和语言家族特征作为朴素贝叶斯分类器的输入。
• 采用堆叠模型架构，结合朴素贝叶斯分类器与词典模块，并通过词典丢弃率（50%）的消融实验评估其影响。
• 使用scikit-learn在Python中实现模型，采用默认超参数，并设置两级学习率调度（0.001，随后为0.0001）。
• 在三个基准数据集（NCHLT、DSL 2015、DSL 2017）上评估性能，使用标准准确率指标。

实验结果

研究问题

• RQ1 分层朴素贝叶斯与词典结合的方法在低资源、语言相似的南非语言短文本语言识别中效果如何？
• RQ2 词典支持在多大程度上提升了分类准确率，特别是在关系密切的语言之间？
• RQ3 与fasttext、SVM和RNN集成等最先进方法相比，该模型在标准化短文本基准测试中的性能表现如何？
• RQ4 与深度学习基线相比，该模型的推理速度和计算效率如何？
• RQ5 数据增强与自监督词典维护能否在低资源环境下减少对大规模标注数据集的依赖？

主要发现

• 结合朴素贝叶斯与词典的堆叠模型（NB+Lex）在DSL 2017数据集上达到98.70%的准确率，优于所有报告的基线模型。
• 仅使用词典的模型在DSL 2017数据集上达到93.56%的准确率，表明在适当支持下，词典在区分相似语言方面具有显著价值。
• 该模型在NCHLT数据集上达到96.12%的准确率，优于独立朴素贝叶斯模型（94.36%）和NB+NB变体（94.41%）。
• 该模型在NCHLT数据集上每秒可处理7.4k次推理请求，优于较慢的BRNN模型（0.75次/秒），并达到fasttext模型（44k次/秒）的推理速度。
• 在DSL 2017数据集上进行50%词典丢弃的消融实验，准确率降至96.21%，证实词典支持是性能提升的关键因素。
• 该模型性能对词典质量高度依赖，50%词典丢弃导致准确率下降2.5个百分点，表明其对词典特征存在强烈依赖。