[论文解读] Weakly Supervised POS Taggers Perform Poorly on Truly Low-Resource Languages

Katharina Kann, Ophélie Lacroix+1 more|arXiv (Cornell University)|Apr 28, 2020

Natural Language Processing Techniques被引用 5

一句话总结

本文在15种真正低资源语言上评估了最先进的弱监督词性标注器，这些语言几乎或完全没有标注数据，发现即使表现最好的模型也仅达到42.25%的宏平均准确率。研究揭示，当前依赖跨语言迁移和字符级多任务学习的弱监督方法在缺乏高质量词典或训练数据的语言上表现不佳，凸显了低资源自然语言处理研究中的关键差距。

ABSTRACT

Part-of-speech (POS) taggers for low-resource languages which are exclusively based on various forms of weak supervision - e.g., cross-lingual transfer, type-level supervision, or a combination thereof - have been reported to perform almost as well as supervised ones. However, weakly supervised POS taggers are commonly only evaluated on languages that are very different from truly low-resource languages, and the taggers use sources of information, like high-coverage and almost error-free dictionaries, which are likely not available for resource-poor languages. We train and evaluate state-of-the-art weakly supervised POS taggers for a typologically diverse set of 15 truly low-resource languages. On these languages, given a realistic amount of resources, even our best model gets only less than half of the words right. Our results highlight the need for new and different approaches to POS tagging for truly low-resource languages.

研究动机与目标

• 评估最先进的弱监督词性标注器在无任何标注数据或高质量词典的真正低资源语言上的性能。
• 探究在缺乏标注数据的情况下，跨语言迁移与字符级多任务学习是否能提升词性标注性能。
• 将低资源语言的结果与高资源语言的结果进行比较，以隔离数据质量和资源可用性的影响。
• 证明尽管在资源更丰富的语言上表现良好，当前的弱监督方法在真正低资源设置下仍无法泛化。
• 发布15种低资源语言的预处理数据集，以支持未来低资源自然语言处理研究。

提出的方法

• 本研究评估了多种弱监督词性标注器，包括一个强大的无监督基线模型，以及一个通过引入字符级多任务学习（MTL）扩展的跨语言迁移模型。
• 作者采用基于双向LSTM的神经架构，主词性标注任务与辅助的序列到序列自动编码任务共享参数，以实现字符级学习。
• 模型仅使用单语文本和词性词典进行训练，目标语言中不使用任何标注数据，从而模拟真正的低资源设置。
• 为进行对比，相同模型在五个高资源语言（de, es, it, pt, sv）上重新评估，分别使用标准词典和基于维基词典（Wiki-ly）的高质量词典。
• 所有实验保持超参数一致，并对五次随机种子的实验结果取平均，以确保可靠性。
• 评估使用PUD测试集（高资源语言）和自建测试集（低资源语言），以宏平均准确率为首要指标。

实验结果

研究问题

• RQ1 在无任何标注数据或高质量词典的真正低资源语言上，最先进的弱监督词性标注器表现如何？
• RQ2 在真正低资源设置下，结合跨语言迁移与字符级多任务学习是否能提升词性标注性能？
• RQ3 当使用相同模型架构和训练数据时，低资源语言上的结果与高资源语言上的结果相比如何？
• RQ4 在低资源设置下，词典质量在多大程度上影响词性标注准确率？
• RQ5 无监督或弱监督方法能否在无任何训练数据的语言上实现高性能？

主要发现

• 表现最佳的弱监督词性标注器在15种真正低资源语言上的宏平均准确率仅为42.25%，表明仍有巨大提升空间。
• 即使是最强的基线模型（专为低资源场景设计）也仅达到39.11%的准确率，凸显了该任务的难度。
• 在相同设置下于高资源语言上评估时，这些模型的平均准确率为62%，表明数据质量差异导致了显著的性能差距。
• 使用更高品质的词典（Wiki-ly）使AMR指标准确率提升0.31，FREQ指标性能几乎翻倍，凸显了词典质量的关键作用。
• 高资源与低资源设置之间的性能差距并非仅由模型架构引起，而是源于低资源语言中资源稀缺且质量低下。
• 本研究证明，尽管在资源更丰富的语言上表现良好，当前的弱监督方法在真正低资源语言上仍无法有效泛化。