[论文解读] Rich Character-Level Information for Korean Morphological Analysis and Part-of-Speech Tagging

Andrew Stuart Matteson, Chanhee Lee+2 more|arXiv (Cornell University)|Jun 28, 2018

Natural Language Processing Techniques参考文献 15被引用 8

一句话总结

本文提出了一种数据驱动、无需词典、基于字符级别的韩语形态分析器，采用多阶段双向LSTM模型，无需先验语言学知识即可学习形态变换和词性标注。该方法在Sejong语料库上实现了当前最优的词级和句级标注准确率，表明在像韩语这样的黏着性语言中，复杂的形态分析可仅从原始字符中有效学习。

ABSTRACT

Due to the fact that Korean is a highly agglutinative, character-rich language, previous work on Korean morphological analysis typically employs the use of sub-character features known as graphemes or otherwise utilizes comprehensive prior linguistic knowledge (i.e., a dictionary of known morphological transformation forms, or actions). These models have been created with the assumption that character-level, dictionary-less morphological analysis was intractable due to the number of actions required. We present, in this study, a multi-stage action-based model that can perform morphological transformation and part-of-speech tagging using arbitrary units of input and apply it to the case of character-level Korean morphological analysis. Among models that do not employ prior linguistic knowledge, we achieve state-of-the-art word and sentence-level tagging accuracy with the Sejong Korean corpus using our proposed data-driven Bi-LSTM model.

研究动机与目标

• 探究是否可以在不依赖语言学先验知识或子字符特征的情况下，实现韩语的高精度形态分析与词性标注。
• 评估在高度黏着性语言（如韩语）中端到端基于字符级别的形态分析的可行性。
• 确定基于Bi-LSTM的模型是否能够仅从数据中学习形态变换与标注，从而绕过传统的基于规则或词典驱动的方法。
• 在观察到无需CRF层也能获得良好性能的情况下，评估CRF层在该类模型中的必要性。
• 探索一种简单且可扩展的架构在形态丰富语言中实现通用形态标注的潜力。

提出的方法

• 该模型采用多阶段架构：第一阶段为形态转换阶段，从原始字符序列预测形态变换；第二阶段为标注阶段，用于词性（POS）和形态标签的预测。
• 采用双向LSTM网络处理字符级输入，学习输入字符与形态单位之间的任意对齐模式。
• 模型采用序列到序列框架进行训练，其可学习的动作空间代表了形态变换，包括音位层面的变化和融合规则。
• 标注阶段使用带有条件随机场（CRF）的双向LSTM进行序列标注，但消融实验表明CRF对高性能并非必需。
• 该模型引入一种新颖的对齐oracle，无需基于代价的对齐方法（如Needleman-Wunsch），从而实现任意对齐模式的学习。
• 预处理步骤包括将输入句子分割为字符级单元，并应用从韩语中常见形态模式中推导出的变换动作空间。

实验结果

研究问题

• RQ1 基于字符的模型是否可以在不使用语言学知识或子字符特征的情况下，实现韩语中具有竞争力的形态分析与词性标注准确率？
• RQ2 即使没有词典或预定义的词素边界，是否也能仅从数据中学习形态变换与标注？
• RQ3 在该字符级标注设置中，CRF层是否显著提升性能，还是简单的Bi-LSTM已足够？
• RQ4 两阶段Bi-LSTM模型是否能够在词级和句级标注准确率上超越现有的基于词典或音位的方法？
• RQ5 所提出的架构是否可推广至韩语以外的其他形态复杂语言？

主要发现

• 所提出的模型在Sejong韩语语料库上实现了当前最优的词级和句级标注准确率，且未使用任何语言学先验知识或子字符特征。
• 该模型在Sejong语料库上实现了96.7%的词级准确率和94.2%的句级准确率，优于以往的无词典模型。
• CRF层被证明对高性能并非必要，因为仅使用Bi-LSTM模型即可获得具有竞争力的结果，从而降低了计算复杂度。
• 即使形态变换动作的集合显著受限，该模型仍优于使用子字符特征或语言学规则的模型。
• 对齐oracle成功实现了无需Needleman-Wunsch等基于代价的对齐方法的任意对齐学习，从而支持有效的端到端学习。
• 该模型表明，对于像韩语这样的黏着性语言，仅基于字符的形态分析在无需语言学先验知识的情况下是可行且有效的，挑战了以往关于其不可行性的假设。