[论文解读] SHOMA at Parseme Shared Task on Automatic Identification of VMWEs: Neural Multiword Expression Tagging with High Generalisation

Shiva Taslimipoor, Omid Rohanian|arXiv (Cornell University)|Sep 9, 2018

Natural Language Processing Techniques参考文献 20被引用 23

一句话总结

本文提出SHOMA，一种用于识别动词性多词表达（VMWEs）的多语言神经网络，结合卷积神经网络与双向LSTM层，并可选地使用CRF后处理。该模型在预训练的维基百科词嵌入和词性标注上进行训练，其在Parseme共享任务中所有语言的宏平均F1得分达到最高（58.09），展现出在未见MWE类型上的强大泛化能力，且无需依赖特定任务的语言学特征。

ABSTRACT

This paper presents a language-independent deep learning architecture adapted to the task of multiword expression (MWE) identification. We employ a neural architecture comprising of convolutional and recurrent layers with the addition of an optional CRF layer at the top. This system participated in the open track of the Parseme shared task on automatic identification of verbal MWEs due to the use of pre-trained wikipedia word embeddings. It outperformed all participating systems in both open and closed tracks with the overall macro-average MWE-based F1 score of 58.09 averaged among all languages. A particular strength of the system is its superior performance on unseen data entries.

研究动机与目标

• 开发一种语言无关的神经模型，用于在多种语言中自动识别动词性多词表达（VMWEs）。
• 在不依赖特定任务语言学特征的前提下，提升对未见MWE类型的泛化能力。
• 评估预训练词嵌入与混合深度学习架构在多语言MWE识别中的有效性。
• 研究标注方案与CRF层对VMWE序列标注性能的影响。

提出的方法

• 该模型采用混合架构，结合一维卷积层（卷积核大小为2和3）以检测n-gram模式，并利用双向LSTM建模序列中的长距离依赖关系。
• 输入表示结合了预训练的维基百科词嵌入与独热编码的词性标注，训练期间冻结嵌入权重以保留语义与句法信息。
• 在顶部可选添加CRF层，以建模标签依赖关系并提升序列级标注的一致性。
• 系统采用类似IOB的标注方案，并通过过滤机制惩罚不完整或格式错误的MWE跨度，从而提升精确率。
• 模型采用交叉熵损失进行端到端训练，并使用基于词元与基于MWE的F1得分进行评估。
• 通过超参数调优与消融研究，评估预训练嵌入与CRF集成的影响。

实验结果

研究问题

• RQ1 是否能够通过在多种语言间共享参数的神经序列标注模型，在无需语言特异性特征的情况下，超越现有系统在VMWE识别中的表现？
• RQ2 在CNN-LSTM架构中，CRF层的引入如何影响MWE标注的性能与收敛速度？
• RQ3 预训练词嵌入在多语言环境下，对提升对未见MWE类型的泛化能力有多大程度的增强作用？
• RQ4 与标准标注方案相比，带有过滤机制的IOB类似标注方案在精确率与F1得分上的影响如何？
• RQ5 为何该模型在英语数据上表现欠佳，特别是对长距离结构如LVCs（如'gave him a vicious stare'）？

主要发现

• SHOMA模型在Parseme共享任务中所有语言的总体宏平均MWE基于F1得分达到58.09，超越了开放赛道与封闭赛道的所有其他系统。
• 该模型在未见MWE类型上表现出卓越的泛化能力，尤其在零样本与少样本设置下表现优异，表明其具有较强的鲁棒性。
• 带有过滤机制的IOB类似标注方案显著提升了精确率与MWE基于F1得分，尽管基于词元的F1略有下降，表明其结构一致性更优。
• 添加CRF层并未提升最终性能，但显著加快了收敛速度，表明其可能有助于优化过程，但对最终准确率无增益。
• 该模型在英语数据上表现较差，尤其在长距离LVCs（如'gave him a vicious stare'）上，表明其在捕捉不连续表达方面存在局限。
• 即使不使用预训练嵌入，该模型在五种语言中的四种仍优于其他纯神经网络模型，证实了该架构本身的有效性，与嵌入质量无关。