[论文解读] Part-of-Speech Tagging for Code-mixed Indian Social Media Text at ICON 2015

Kamal Sarkar|arXiv (Cornell University)|Jan 6, 2016

Natural Language Processing Techniques参考文献 12被引用 7

一句话总结

本文提出了一种基于三元语法隐马尔可夫模型（HMM）的代码混用印度社交媒体文本词性标注器，通过词典查找和词级特征提升已知与未知词素的观测概率。该系统在孟加拉语-英语、印地语-英语和泰米尔语-英语语言对上，在受限模式下的平均准确率为75.60%，在非受限模式下为70.65%，在具有挑战性的多语言、低资源自然语言处理任务中表现出色。

ABSTRACT

This paper discusses the experiments carried out by us at Jadavpur University as part of the participation in ICON 2015 task: POS Tagging for Code-mixed Indian Social Media Text. The tool that we have developed for the task is based on Trigram Hidden Markov Model that utilizes information from dictionary as well as some other word level features to enhance the observation probabilities of the known tokens as well as unknown tokens. We submitted runs for Bengali-English, Hindi-English and Tamil-English Language pairs. Our system has been trained and tested on the datasets released for ICON 2015 shared task: POS Tagging For Code-mixed Indian Social Media Text. In constrained mode, our system obtains average overall accuracy (averaged over all three language pairs) of 75.60% which is very close to other participating two systems (76.79% for IIITH and 75.79% for AMRITA_CEN) ranked higher than our system. In unconstrained mode, our system obtains average overall accuracy of 70.65% which is also close to the system (72.85% for AMRITA_CEN) which obtains the highest average overall accuracy.

研究动机与目标

• 为解决代码混用印度社交媒体文本中的词性标注挑战，其中语言多样性与非正式语言带来显著的自然语言处理挑战。
• 开发一种鲁棒的词性标注系统，能够处理印度社交媒体平台中常见的低资源、混合语言文本。
• 通过改进观测概率建模，提升对已知与未知词素的标注准确率。
• 在受限与非受限设置下，对多个语言对（孟加拉语-英语、印地语-英语、泰米尔语-英语）进行系统评估。
• 通过聚焦于特征驱动的HMM建模，向ICON 2015共享任务提交具有竞争力的运行结果。

提出的方法

• 该系统采用三元语法隐马尔可夫模型（HMM）对词性标注序列进行建模，以捕捉词性转移中的长距离依赖关系。
• 通过词典查找（针对已知词素）和词级特征（如字符n-gram与大小写模式）增强观测概率。
• 对于未知词素，模型利用形态学与拼写特征估算可能的词性标注。
• 系统在ICON 2015共享任务数据集上进行训练与测试，该数据集包含人工标注的代码混用社交媒体文本。
• 采用两种评估模式：受限模式（仅使用提供的训练数据，不使用外部资源）与非受限模式（允许使用外部知识）。
• 应用维特比算法对每条输入句子解码出最可能的词性标注序列。

实验结果

研究问题

• RQ1 在代码混用的印度社交媒体文本中，结合特征增强观测概率的三元语法HMM在词性标注任务中的有效性如何？
• RQ2 在低资源代码混用环境下，词典查找与词级特征在提升未知词素标注准确率方面能达到何种程度？
• RQ3 该系统在孟加拉语-英语、印地语-英语与泰米尔语-英语等多样化语言对上的表现如何？
• RQ4 受限模式与非受限模式对整体标注性能有何影响？
• RQ5 与ICON 2015共享任务中的最先进系统相比，该系统表现如何？

主要发现

• 在受限模式下，系统在所有三个语言对上的平均整体准确率达到75.60%，排名接近最先进系统。
• 在非受限模式下，系统平均准确率为70.65%，与该模式下最高性能系统（72.85%）相比具有竞争力。
• 词典查找与词级特征的整合显著提升了对未知词素的处理能力，优于基线HMM模型。
• 三元语法HMM结构有效建模了词性转移模式，尤其在形态丰富且存在代码混用的语言环境中表现优异。
• 系统在所有三个语言对上均表现出一致的性能，表明其对语言差异具有鲁棒性。
• 结果证实，特征增强的HMM在印度社交媒体文本的低资源、代码混用词性标注任务中具有可行性。