[论文解读] Word Level Language Identification in English Telugu Code Mixed Data

Sunil Gundapu, Radhika Mamidi|arXiv (Cornell University)|Oct 9, 2020

Natural Language Processing Techniques参考文献 16被引用 14

一句话总结

本论文提出了一种基于条件随机场（CRF）的模型，用于英语-泰卢固语混合文本中的词级语言识别，利用词形、上下文、词性标注和字符n-gram等语言学特征。CRF模型取得了0.91的F1分数，优于朴素贝叶斯、随机森林和HMM基线模型，为印度语言中的低资源混合语言NLP做出了重要贡献。

ABSTRACT

In a multilingual or sociolingual configuration Intra-sentential Code Switching (ICS) or Code Mixing (CM) is frequently observed nowadays. In the world, most of the people know more than one language. CM usage is especially apparent in social media platforms. Moreover, ICS is particularly significant in the context of technology, health, and law where conveying the upcoming developments are difficult in one's native language. In applications like dialog systems, machine translation, semantic parsing, shallow parsing, etc. CM and Code Switching pose serious challenges. To do any further advancement in code-mixed data, the necessary step is Language Identification. In this paper, we present a study of various models - Nave Bayes Classifier, Random Forest Classifier, Conditional Random Field (CRF), and Hidden Markov Model (HMM) for Language Identification in English - Telugu Code Mixed Data. Considering the paucity of resources in code mixed languages, we proposed the CRF model and HMM model for word level language identification. Our best performing system is CRF-based with an f1-score of 0.91.

研究动机与目标

• 为解决在低资源、英语-泰卢固语混合文本中，特别是在社交媒体和多语言交流场景下的词级语言识别挑战。
• 开发一种稳健的语言识别系统，以应对混合语言数据中常见的形态融合、音译变体和非正式书写风格。
• 评估并比较多种序列标注模型——朴素贝叶斯、随机森林、HMM和CRF——在识别单个词源语言方面的有效性。
• 探索融合形态学、正字法和上下文线索的特征工程策略，以提升语言标签预测性能。
• 为混合语言印度语的下游NLP任务提供高性能、开源的解决方案。

提出的方法

• CRF模型使用包含当前词、其词性标注、邻近词及其词性标注、前缀/后缀、词长、数字/大写字母/特殊字符存在性，以及前向/后向字符n-gram（一元、二元、三元）的特征集进行训练。
• 模型采用一阶马尔可夫假设以捕捉局部上下文，通过诸如“前一个词的语言标签”和“当前词的语言标签”等特征提升序列标注性能。
• 设计特征模板以处理形态学混合现象，例如“classlo”（英语+泰卢固语复数词素）和如“supere”（英语词根+泰卢固语词缀）的词缀。
• 系统对非词性标记（如URL、电子邮件地址和表情符号）应用默认的“UNIV”（通用）标签，以保持鲁棒性。
• 实验在包含23,635个训练词和5,868个测试词的语料上采用三折交叉验证设置，模型使用scikit-learn、NLTK和python-crfsuite实现。
• 基线模型包括朴素贝叶斯、随机森林和HMM，性能通过F1分数、精确率和召回率进行比较。

实验结果

研究问题

• RQ1 在英语-泰卢固语混合文本中，词级语言识别的最优序列标注模型是什么？
• RQ2 字符n-gram、词性标注和词形等语言学特征在多大程度上提升了语言识别的准确性？
• RQ3 形态学融合和非正式拼写变体在多大程度上阻碍了混合语言数据中的语言识别？
• RQ4 在低资源混合语言设置下，基于CRF的模型能否优于朴素贝叶斯和随机森林等传统分类器？
• RQ5 包含上下文特征（如前一个词的语言标签）在多大程度上提升了预测性能？

主要发现

• 基于CRF的模型取得了最高的F1分数0.91，准确率为91.2897%，显著优于所有基线模型。
• 泰卢固语标签的精确率为0.84，召回率为0.81，F1分数为0.87，表明在母语语言上的表现强劲。
• 英语词识别的F1分数高达0.88，精确率0.88，召回率0.87，反映出对英语词汇项的可靠检测。
• 命名实体（NE）标签的F1分数最高，达到0.95，表明在专有名词和命名实体上的表现优异。
• 用于非词汇标记（如URL和表情符号）的通用（UNIV）标签F1分数仅为0.54，表明此类标记的处理仍有待改进。
• HMM模型的准确率为85.15%，低于CRF但高于朴素贝叶斯（77.37%）和随机森林（77.34%），凸显了序列建模的重要性。