[论文解读] Recurrent Neural Network based Part-of-Speech Tagger for Code-Mixed Social Media Text

Raj Nath Patel, Prakash B. Pimpale+1 more|arXiv (Cornell University)|Nov 15, 2016

Natural Language Processing Techniques参考文献 34被引用 9

一句话总结

该论文提出了一种基于GRU的循环神经网络语言模型，用于代码混杂的印度社交媒体文本（印地语-英语、孟加拉语-英语、泰卢固语-英语）的词性标注（POS）任务。通过引入预训练和语言身份作为额外特征，该模型在训练数据有限的低资源语言对上，取得了与斯坦福和HunPos等最先进系统相当的F1分数，展现出强大的性能表现。

ABSTRACT

This paper describes Centre for Development of Advanced Computing's (CDACM) submission to the shared task-'Tool Contest on POS tagging for Code-Mixed Indian Social Media (Facebook, Twitter, and Whatsapp) Text', collocated with ICON-2016. The shared task was to predict Part of Speech (POS) tag at word level for a given text. The code-mixed text is generated mostly on social media by multilingual users. The presence of the multilingual words, transliterations, and spelling variations make such content linguistically complex. In this paper, we propose an approach to POS tag code-mixed social media text using Recurrent Neural Network Language Model (RNN-LM) architecture. We submitted the results for Hindi-English (hi-en), Bengali-English (bn-en), and Telugu-English (te-en) code-mixed data.

研究动机与目标

• 开发一种鲁棒且与语言无关的代码混杂印度社交媒体文本词性标注器，以应对多语言混合、音译和拼写变异带来的语言复杂性。
• 探究RNN架构（特别是GRU、LSTM和Simple_RNN）在低资源、代码混杂设置下的词性标注有效性。
• 评估预训练和语言身份作为辅助特征对模型在代码混杂词性标注中泛化能力和准确率的影响。
• 在共享基准数据上，将所提出的基于RNN的方法与斯坦福和HunPos等成熟系统进行比较。

提出的方法

• 模型采用改进的RNN-LM架构，输入为以目标词为中心的上下文窗口（例如，三个词），输出为预测的词性标签。
• 核心架构采用门控循环单元（GRUs），通过更新门和重置门控制信息流动，缓解梯度消失问题。
• 每个词的语言身份被嵌入为独立的特征向量，并与词嵌入拼接，以帮助模型区分来自不同语言的相似外观词汇（例如，印地语中的'are'与英语中的'are'）。
• 模型在大规模单语语料上进行预训练，随后在代码混杂的词性标注任务上进行微调，从而提升泛化能力。
• 词嵌入在训练过程中从零开始学习，最终输出层使用softmax函数从隐藏状态预测词性标签。
• 评估了三种训练设置：标准GRU、带预训练的GRU（GRU_Pre），以及带预训练和语言特征的GRU（GRU_Pre_Lang）。

实验结果

研究问题

• RQ1 尽管训练数据有限，基于GRU的RNN模型是否能在代码混杂的印度社交媒体文本上实现具有竞争力的词性标注性能？
• RQ2 预训练对低资源代码混杂语言对中RNN-based词性标注器的性能有何影响？
• RQ3 将语言身份作为辅助特征是否能提升模型对来自不同语言的同形词（如印地语中的'are'与英语中的'are'）的消歧能力？
• RQ4 在该代码混杂词性标注任务中，不同RNN变体（Simple_RNN、LSTM、Deep LSTM、GRU）的性能如何比较？
• RQ5 所提出的RNN模型在该共享任务上在多大程度上达到或超越了斯坦福和HunPos等成熟系统的性能？

主要发现

• GRU_Pre_Lang模型在所有语言对中均取得最高F1分数，hi-en为80.92%，bn-en为74.05%，te-en为74.00%，优于标准RNN和基线系统。
• 预训练显著提升了性能，GRU_Pre在hi-en上达到80.51%的F1分数，高于标准GRU的78.29%。
• 添加语言身份特征后，性能进一步提升，尤其在'are'和'to'等同形异义词上表现更优，这些词在印地语和英语中拼写相同但词性标签不同。
• 尽管LSTM在理论上具有优势，但在该数据集上表现不如GRU甚至不如Simple_RNN，可能由于数据稀缺和模型复杂度过高。
• 对于低资源的bn-en语言对（仅约0.5K训练句），RNN模型的表现相对斯坦福和HunPos较差，表明RNN在低资源场景下要达到最先进水平仍需更多数据。
• 混淆矩阵显示，G_X、G_V、G_N和G_J（粗粒度）以及V_VM、JJ、N_NN、N_NNP（细粒度）是最常被误分类的标签，彼此之间常发生混淆。