[论文解读] The Best of Both Worlds: Lexical Resources To Improve Low-Resource Part-of-Speech Tagging

Barbara Plank, Sigrid Klerke+1 more|arXiv (Cornell University)|Nov 21, 2018

Natural Language Processing Techniques参考文献 30被引用 4

一句话总结

本文提出 DsDs，一种神经词性标注器，通过以可微方式软性整合符号性词典资源与预训练词嵌入，以提升低资源跨语言词性标注性能。通过以可微方式利用词典导出的语言学知识，该模型即使在训练数据有限或存在噪声的情况下，仍表现出更优的鲁棒性与性能，优于仅依赖嵌入或显式符号约束的方法。

ABSTRACT

In natural language processing, the deep learning revolution has shifted the focus from conventional hand-crafted symbolic representations to dense inputs, which are adequate representations learned automatically from corpora. However, particularly when working with low-resource languages, small amounts of symbolic lexical resources such as user-generated lexicons are often available even when gold-standard corpora are not. Such additional linguistic information is though often neglected, and recent neural approaches to cross-lingual tagging typically rely only on word and subword embeddings. While these representations are effective, our recent work has shown clear benefits of combining the best of both worlds: integrating conventional lexical information improves neural cross-lingual part-of-speech (PoS) tagging. However, little is known on how complementary such additional information is, and to what extent improvements depend on the coverage and quality of these external resources. This paper seeks to fill this gap by providing the first thorough analysis on the contributions of lexical resources for cross-lingual PoS tagging in neural times.

研究动机与目标

• 探究符号性词典资源如何在低资源设置下增强神经跨语言词性标注。
• 分析词典覆盖率、质量与构成对模型性能的影响。
• 评估隐式整合语言学知识是否优于显式方法（如 retrofitting 或类型约束）。
• 理解语言学资源如何影响神经序列模型的内部表征。
• 对低资源 NLP 中混合神经-符号方法进行系统性评估。

提出的方法

• 该模型将预训练词嵌入与词典资源的软性、可微整合相结合，其中词典条目在不施加硬性约束的情况下影响模型。
• 采用基于 LSTM 的神经序列模型，在解码过程中同时关注词嵌入与词典特征。
• 该方法将词典条目视为软监督，允许模糊条目（如 'play' 作为名词/动词）以概率方式贡献于预测。
• 该方法端到端训练，语言学知识通过可学习的投影层嵌入，用于调制隐藏状态。
• 在仅使用 5,000 个投影训练实例的低资源设置下评估模型性能。
• 消融研究对比了有无词典资源、不同词典构成与大小下的性能表现。

实验结果

研究问题

• RQ1 在低资源跨语言设置下，符号性词典资源的整合如何影响词性标注准确率？
• RQ2 与词典大小相比，词典的质量与构成在多大程度上更为重要？
• RQ3 通过软性整合实现的语言学知识隐式使用，是否优于 type constraints 或 retrofitting 等显式方法？
• RQ4 当模型暴露于词典资源时，其内部表征如何变化？
• RQ5 当结合词典知识时，模型能否在极少量投影训练数据下仍有效学习？

主要发现

• 通过整合词典资源，即使仅使用 5,000 个投影训练实例，该模型在词性标注准确率上实现了显著提升。
• 词典构成——尤其是词性类型平衡与高频词覆盖率——比其总体大小更为关键。
• 与显式约束或 retrofitting 相比，词典知识的软性整合带来了更优性能，表明在低资源设置下隐式监督更具有效性。
• 探测与相似性分析显示，使用词典资源后，模型的内部表征对任务相关的语言结构更加敏感。
• 该模型对噪声与数据稀疏性表现出更强鲁棒性，表明词典知识在低资源设置下可稳定学习过程。
• 结果支持假设：神经模型可超越词典的显式覆盖范围，从隐式语言先验中获益。