[论文解读] Word Embedding based New Corpus for Low-resourced Language: Sindhi

Wazir Ali, Jay Kumar+2 more|arXiv (Cornell University)|Nov 28, 2019

Topic Modeling参考文献 38被引用 6

一句话总结

本文提出一个大规模、6100万词的信德语语料库，通过网络爬取构建，并经过严格的数据清洗处理，以应对噪声数据问题，从而能够使用最先进的模型（Skip-gram、CBOW、GloVe）训练出高质量的词嵌入。所提出的嵌入在内在评估中优于现有的SdfastText表示，其中Skip-gram在语义相似性和词对相似性任务中表现最佳，标志着低资源信德语自然语言处理的重大进展。

ABSTRACT

Representing words and phrases into dense vectors of real numbers which encode semantic and syntactic properties is a vital constituent in natural language processing (NLP). The success of neural network (NN) models in NLP largely rely on such dense word representations learned on the large unlabeled corpus. Sindhi is one of the rich morphological language, spoken by large population in Pakistan and India lacks corpora which plays an essential role of a test-bed for generating word embeddings and developing language independent NLP systems. In this paper, a large corpus of more than 61 million words is developed for low-resourced Sindhi language for training neural word embeddings. The corpus is acquired from multiple web-resources using web-scrappy. Due to the unavailability of open source preprocessing tools for Sindhi, the prepossessing of such large corpus becomes a challenging problem specially cleaning of noisy data extracted from web resources. Therefore, a preprocessing pipeline is employed for the filtration of noisy text. Afterwards, the cleaned vocabulary is utilized for training Sindhi word embeddings with state-of-the-art GloVe, Skip-Gram (SG), and Continuous Bag of Words (CBoW) word2vec algorithms. The intrinsic evaluation approach of cosine similarity matrix and WordSim-353 are employed for the evaluation of generated Sindhi word embeddings. Moreover, we compare the proposed word embeddings with recently revealed Sindhi fastText (SdfastText) word representations. Our intrinsic evaluation results demonstrate the high quality of our generated Sindhi word embeddings using SG, CBoW, and GloVe as compare to SdfastText word representations.

研究动机与目标

• 为解决信德语这一形态丰富且使用多种书写系统、但资源匮乏的语言缺乏大规模、高质量、未标注语料的问题。
• 设计并应用一套系统化的预处理流程，以清理因缺乏开源信德语自然语言处理工具而导致的网络来源噪声文本。
• 在新构建的信德语语料库上训练并评估最先进的词嵌入模型（Skip-gram、CBOW、GloVe），以提升语义表征质量。
• 通过余弦相似度和首次翻译成信德语的WordSim-353数据集，为信德语词嵌入提供内在评估基准。
• 为未来信德语自然语言处理任务（包括词性标注、命名实体识别和基于BERT类模型的上下文嵌入）奠定基础。

提出的方法

• 利用网络爬取框架从多个网络来源收集了6100万词的信德语语料库，以克服公开语料库有限的问题。
• 设计并应用定制化的预处理流程，从网络来源数据中过滤掉噪声、非信德语文本和格式错误的文本，确保语料库质量。
• 在清洗后的语料库上使用三种最先进的模型（Skip-gram (SG)、连续词袋模型 (CBOW)、GloVe）训练词嵌入。
• 通过余弦相似度矩阵和信德语翻译版的WordSim-353数据集进行内在评估，以衡量语义相似性表现。
• 将生成的嵌入与最近发布的SdfastText模型进行对比，采用相同的评估协议以确保公平性。
• 通过优化超参数（包括窗口大小、学习率和训练轮数）来最大化嵌入质量，强调语料库规模和预处理的重要性。

实验结果

研究问题

• RQ1 大规模、网络来源且经过仔细预处理的信德语语料库是否能产生优于现有低资源基线的更高品质词嵌入？
• RQ2 与SdfastText相比，Skip-gram、CBOW和GloVe模型在捕捉信德语语义和句法关系方面表现如何？
• RQ3 在低资源环境下，SG和CBOW模型中字符级学习与子采样在提升语义表征方面相较于GloVe的改进程度如何？
• RQ4 语料库的规模和清洗程度是否显著影响信德语词嵌入的内在评估表现？
• RQ5 所提出的嵌入是否可作为下游自然语言处理任务（如文本分类和WordNet构建）的强基线？

主要发现

• 所提出的语料库包含超过6100万个词符和908,456个唯一词汇，显著大于SdfastText的训练语料库。
• Skip-gram模型在所有内在评估指标中表现最佳，包括最近邻、词对相似性以及WordSim-353。
• CBOW嵌入表现接近Skip-gram，表明其具有较强的语义捕捉能力，而GloVe表现较低，可能因其缺乏字符级学习和子采样机制。
• 尽管SdfastText使用了子词信息，所提出的词嵌入在所有评估矩阵中仍优于SdfastText，凸显了语料库规模和预处理的重要性。
• 超参数调优（尤其是窗口大小、学习率和训练轮数）显著影响嵌入质量，最优设置可进一步提升性能。
• 语料库和嵌入已公开发布，包含一个信德语停用词列表，可支持未来在词性标注、命名实体识别和上下文嵌入方面的研究。