[论文解读] Part of Speech Tagging in Thai Language Using Support Vector Machine

Masaki Murata, Qing Ma+1 more|ArXiv.org|Dec 5, 2001

Natural Language Processing Techniques参考文献 5被引用 8

一句话总结

本文提出了一种基于支持向量机（SVM）的泰语词性标注（POS）系统，利用词语上下文和序列特征以提高准确率。基于一个小规模标注的泰语语料库，SVM方法在歧义词上的精确率达到96.1%，优于先前的混合标注器（95.5%）和弹性输入神经网络（94.4%），证明了SVM在泰语等黏着语低资源词性标注中的有效性。

ABSTRACT

The elastic-input neuro tagger and hybrid tagger, combined with a neural network and Brill's error-driven learning, have already been proposed for the purpose of constructing a practical tagger using as little training data as possible. When a small Thai corpus is used for training, these taggers have tagging accuracies of 94.4% and 95.5% (accounting only for the ambiguous words in terms of the part of speech), respectively. In this study, in order to construct more accurate taggers we developed new tagging methods using three machine learning methods: the decision-list, maximum entropy, and support vector machine methods. We then performed tagging experiments by using these methods. Our results showed that the support vector machine method has the best precision (96.1%), and that it is capable of improving the accuracy of tagging in the Thai language. Finally, we theoretically examined all these methods and discussed how the improvements were achived.

研究动机与目标

• 通过监督式机器学习提升泰语词性标注的准确率，特别是在训练数据有限的情况下。
• 评估并比较三种机器学习方法——决策列表、最大熵和支撑向量机——在泰语词性标注中的表现。
• 探究SVM这一在泰语词性标注中较少被研究的方法是否能超越现有的混合模型与神经网络方法。
• 分析词语级上下文特征对标注性能的贡献，特别是与仅依赖词性转移概率的模型进行对比。
• 提供一个可集成到更大序列模型（如Viterbi搜索）中的组件，用于联合进行分词与词性标注。

提出的方法

• 系统以预分词的泰语语料库作为输入，将每个词语视为一个标记，并赋予相关特征。
• 特征包括当前词语、其前一个和后一个词语及其词性标注，形成每个词语的上下文窗口。
• 支持向量机（SVM）模型通过核函数将特征映射到高维空间，以分类每个词语的正确词性标注。
• 决策列表方法根据条件概率 $ p(a|f_j) $ 对特征进行排序，选择第一个匹配的特征来分配词性标注。
• 最大熵模型通过在特征统计量导出的约束下最大化熵，计算最可能的词性标注分布。
• 所有模型均在相同的泰语语料库上进行训练与评估，性能仅在歧义词上进行衡量，以确保公平比较。

实验结果

研究问题

• RQ1 在低资源泰语自然语言处理设置下，SVM能否实现高于现有混合模型与神经网络模型的词性标注准确率？
• RQ2 词语级上下文特征的引入如何影响机器学习模型在泰语词性标注中的性能？
• RQ3 尽管SVM使用的词语概率信息较少，为何其性能仍优于弹性输入神经网络与混合标注器？
• RQ4 特征表示与模型架构在提升泰语词性标注精确率方面起到了多大程度的贡献？
• RQ5 SVM方法能否有效集成到类似Viterbi的联合分词与标注框架中？

主要发现

• 支持向量机方法在歧义词上的精确率达到最高，为96.1%，优于混合标注器（95.5%）和弹性输入神经网络（94.4%）。
• SVM模型优于最大熵与决策列表方法，后者分别达到92.3%与78.0%的精确率。
• 当移除词语信息后，SVM方法仍达到93.9%的精确率，表明其在缺乏直接词语概率特征的情况下仍具强大性能。
• SVM性能优越的原因在于其有效利用了词语上下文与序列特征，而HMM与弹性神经网络仅依赖词性转移概率。
• 结果表明，SVM特别适用于黏着语如泰语的低资源词性标注任务，尤其在缺乏大规模语料的情况下。
• 未来工作应探索将词语级特征整合到弹性神经网络模型中，以缩小与SVM的性能差距。