[论文解读] Towards Computational Linguistics in Minangkabau Language: Studies on Sentiment Analysis and Machine Translation

Fajri Koto, Ikhwan Koto|arXiv (Cornell University)|Sep 19, 2020

Natural Language Processing Techniques参考文献 48被引用 4

一句话总结

本论文首次对米南佳保语开展计算语言学研究，提出了一个情感分析语料库和一个米南佳保语-印度尼西亚语平行语料库，用于机器翻译。通过经典机器学习与序列到序列模型（LSTM、Transformer）进行实验，发现使用双语词典进行逐词翻译在BLEU得分上优于神经网络模型，而从印度尼西亚语到米南佳保语的跨语言迁移则表现显著失败，凸显了对语言特定资源的迫切需求。

ABSTRACT

Although some linguists (Rusmali et al., 1985; Crouch, 2009) have fairly attempted to define the morphology and syntax of Minangkabau, information processing in this language is still absent due to the scarcity of the annotated resource. In this work, we release two Minangkabau corpora: sentiment analysis and machine translation that are harvested and constructed from Twitter and Wikipedia. We conduct the first computational linguistics in Minangkabau language employing classic machine learning and sequence-to-sequence models such as LSTM and Transformer. Our first experiments show that the classification performance over Minangkabau text significantly drops when tested with the model trained in Indonesian. Whereas, in the machine translation experiment, a simple word-to-word translation using a bilingual dictionary outperforms LSTM and Transformer model in terms of BLEU score.

研究动机与目标

• 为解决米南佳保语——一种拥有约700万使用者的低资源南岛语系语言——计算语言学资源匮乏的问题。
• 开发并发布首个公开可用的米南佳保语-印度尼西亚语平行语料库，用于机器翻译与情感分析。
• 评估经典机器学习与神经序列到序列模型（LSTM、Transformer）在米南佳保语NLP任务中的性能表现。
• 证明从印度尼西亚语到米南佳保语的跨语言迁移显著失败，从而凸显语言特定训练数据的必要性。
• 通过构建基准数据集与模型，利用NLP技术保护并推广米南佳保语。

提出的方法

• 通过人工翻译米南佳保维基百科中前20,000个最常用词汇至印度尼西亚语，构建了米南佳保语-印度尼西亚语双语词典。
• 通过人工将5,000个印度尼西亚语句子翻译为米南佳保语，构建了情感分析语料库，形成用于分类任务的平行基准。
• 利用传统机器学习方法与预训练语言模型，为米南佳保语情感分类开发了基准模型。
• 从维基百科与推特自动构建了16,000对高质量的米南佳保语-印度尼西亚语句子平行语料库。
• 使用共享词嵌入与余弦位置编码，训练并评估了LSTM与Transformer序列到序列模型用于机器翻译。
• 通过BLEU分数评估模型性能，并开展人工评估以比较逐词翻译、LSTM与Transformer输出在流畅性与恰当性方面的表现。

实验结果

研究问题

• RQ1 现有的印度尼西亚语NLP模型能否有效分类米南佳保语文本？是否需要使用语言特定模型？
• RQ2 在米南佳保语-印度尼西亚语翻译任务中，神经序列到序列翻译（LSTM、Transformer）是否优于使用双语词典的简单逐词翻译？
• RQ3 为何序列到序列模型在米南佳保语-印度尼西亚语翻译任务中表现不佳，尤其是在分布外数据上？
• RQ4 米南佳保语与印度尼西亚语之间的词汇重叠程度在多大程度上影响翻译性能？
• RQ5 在低资源环境下，基于规则的（逐词）翻译与神经网络模型在翻译流畅性与恰当性方面有何差异？

主要发现

• 使用双语词典的逐词翻译（W2W）在米南佳保语到印度尼西亚语翻译任务中取得了最高的BLEU分数，达到64.54（维基百科测试集）。
• 与W2W相比，LSTM与Transformer模型表现显著逊色，同一测试集上的BLEU分数分别降至63.77与56.25。
• 在情感分析任务中，使用印度尼西亚语数据训练的模型无法泛化至米南佳保语，表明两种语言之间缺乏跨语言迁移能力。
• 序列到序列模型性能下降的主要原因在于OOV（词汇表外）问题，情感语料中约65%的词汇未出现在训练词汇表中。
• 人工评估确认，W2W翻译在恰当性方面显著优于LSTM模型，尽管流畅性相似，表明LSTM模型虽输出流畅但会“幻觉”生成错误关键词。
• 本研究表明，对于米南佳保语等低资源语言，使用精心构建词典的基于规则翻译，可在缺乏大规模平行语料的情况下优于复杂神经网络模型。