[论文解读] Multi Task Deep Morphological Analyzer: Context Aware Joint Morphological Tagging and Lemma Prediction

Saurav Jha, Akhilesh Sudhakar+1 more|arXiv (Cornell University)|Nov 21, 2018

Natural Language Processing Techniques参考文献 64被引用 4

一句话总结

本文提出 MT-DMA，一种基于多任务学习的字符级深度神经网络，用于对印地语和乌尔都语进行联合形态标注和词基预测。通过同时优化六个形态标签（词性、阴阳性、数、人称、格、TAM）和词基预测，并共享初始参数与上下文感知特征，该模型在全部七个任务中均达到最先进性能，通过字符级表征的多目标优化实现超越以往方法的性能提升。

ABSTRACT

The ambiguities introduced by the recombination of morphemes constructing several possible inflections for a word makes the prediction of syntactic traits in Morphologically Rich Languages (MRLs) a notoriously complicated task. We propose the Multi Task Deep Morphological analyzer (MT-DMA), a character-level neural morphological analyzer based on multitask learning of word-level tag markers for Hindi and Urdu. MT-DMA predicts a set of six morphological tags for words of Indo-Aryan languages: Parts-of-speech (POS), Gender (G), Number (N), Person (P), Case (C), Tense-Aspect-Modality (TAM) marker as well as the Lemma (L) by jointly learning all these in one trainable framework. We show the effectiveness of training of such deep neural networks by the simultaneous optimization of multiple loss functions and sharing of initial parameters for context-aware morphological analysis. Exploiting character-level features in phonological space optimized for each tag using multi-objective genetic algorithm, our model establishes a new state-of-the-art accuracy score upon all seven of the tasks for both the languages. MT-DMA is publicly accessible: code, models and data are available at https://github.com/Saurav0074/morph_analyzer.

研究动机与目标

• 解决印地语和乌尔都语等形态丰富的语言（MRLs）中的形态歧义挑战。
• 通过联合学习多个任务，提高形态标注和词基预测的准确性。
• 利用通过多目标遗传算法优化的字符级表征，提升上下文感知能力。
• 在印度-雅利安语系的七个形态预测任务中建立新的最先进性能基准。

提出的方法

• 该模型采用深度神经网络架构，基于字符级输入序列进行训练，以捕捉形态模式。
• 采用多任务学习，联合优化六个形态标签预测（词性、阴阳性、数、人称、格、TAM）和词基预测。
• 共享的初始层提取低级特征，每个输出头对应特定任务的分支。
• 通过多目标遗传算法在音系空间中优化字符级特征，以增强上下文感知能力。
• 在训练过程中同时最小化多个损失函数，以提升泛化能力和表征学习效果。
• 该框架支持任务间的参数共享，提升数据效率，并在低资源形态分析任务中表现更优。

实验结果

研究问题

• RQ1 联合学习多个形态标注与词基预测任务是否能提升形态丰富语言中的性能？
• RQ2 在印地语和乌尔都语中，使用共享表征的多任务学习在字符级形态分析中效果如何？
• RQ3 通过多目标遗传算法优化的上下文感知字符级特征，能否提升形态标注的准确性？
• RQ4 多个损失函数的同时优化是否能带来更好的泛化能力和最先进结果？
• RQ5 任务间的参数共享在多大程度上能提升低资源形态分析任务的性能？

主要发现

• MT-DMA 在印地语和乌尔都语的全部七个形态预测任务中均达到新的最先进准确率。
• 该模型在预测词性、阴阳性、数、人称、格、TAM 标记和词基方面均优于现有方法。
• 采用共享初始参数的多任务训练显著优于单任务基线模型。
• 通过多目标遗传算法优化的字符级特征显著增强了上下文感知能力与预测准确性。
• 多个损失函数的联合优化带来了更好的泛化能力与形态标签的鲁棒性。
• 该模型已公开发布，包含代码、预训练模型与数据集，支持可复现性与进一步研究。