[论文解读] Towards Realistic Practices In Low-Resource Natural Language Processing: The Development Set

Katharina Kann, Kyunghyun Cho+1 more|arXiv (Cornell University)|Sep 4, 2019

Topic Modeling参考文献 30被引用 16

一句话总结

本文研究了在低资源自然语言处理中使用开发集进行早停对模型性能的影响，将其与一种更现实的替代方案进行比较：即使用开发语言来调整训练轮数。结果表明，性能差异最高可达18.0%的绝对准确率，表明基于开发集的早停通常会高估真实世界中的模型性能，尤其是在形态学任务中。

ABSTRACT

Development sets are impractical to obtain for real low-resource languages, since using all available data for training is often more effective. However, development sets are widely used in research papers that purport to deal with low-resource natural language processing (NLP). Here, we aim to answer the following questions: Does using a development set for early stopping in the low-resource setting influence results as compared to a more realistic alternative, where the number of training epochs is tuned on development languages? And does it lead to overestimation or underestimation of performance? We repeat multiple experiments from recent work on neural models for low-resource NLP and compare results for models obtained by training with and without development sets. On average over languages, absolute accuracy differs by up to 1.4%. However, for some languages and tasks, differences are as big as 18.0% accuracy. Our results highlight the importance of realistic experimental setups in the publication of low-resource NLP research results.

研究动机与目标

• 评估在低资源自然语言处理中使用开发集进行早停是否会导致对真实世界模型性能的高估或低估。
• 在符合现实的低资源约束条件下，比较使用和不使用开发集进行早停时的模型性能。
• 评估通过开发语言调整训练轮数是否比依赖目标语言开发集能更准确地估计真实世界性能。
• 强调在低资源环境中依赖人工开发集的风险，因为此类开发集往往难以实际获取。
• 倡导在低资源自然语言处理研究中采用更现实的实验设计，以提高报告结果的可靠性。

提出的方法

• 在多种语言上复现近期关于历史文本归一化、形态学词形变化和音译的低资源自然语言处理实验。
• 在目标语言开发集（Dev Set）上进行早停训练，并与通过开发语言调整轮数（Dev Lang）训练的模型进行比较。
• 在两种设置中使用相同的模型架构和超参数，以隔离早停策略的影响。
• 测量每种配置下的测试准确率和最终训练轮数，以评估性能差异。
• 分析训练时长差异与性能差距之间的相关性，以判断性能下降是由欠拟合还是过拟合引起。
• 在多种语言和任务上报告结果，以评估发现的泛化能力。

实验结果

研究问题

• RQ1 在低资源自然语言处理中，使用开发集进行早停是否会导致对真实世界模型性能的高估或低估？
• RQ2 当早停基于目标语言开发集与基于开发语言调整轮数时，模型准确率有何差异？
• RQ3 性能差异在不同任务（如归一化、词形变化、音译）和语言之间有多大程度的变化？
• RQ4 Dev Set与Dev Lang策略之间的性能差距是否可完全由训练时长差异解释？
• RQ5 在低资源部署场景中，使用开发集进行早停是否是真实世界性能的可靠代理？

主要发现

• 在所有语言的平均值上，使用开发集进行早停的模型在形态学词形变化任务中比使用开发语言调整轮数的模型高出1.4%的绝对准确率，在归一化任务中高出0.7%。
• 在某些语言和任务中，性能差距最高可达18.0%的绝对准确率，Dev Set的性能显著优于Dev Lang。
• 在形态学词形变化任务中，Dev Set在80种语言中的72种中优于Dev Lang，表明在使用开发集时，真实世界性能被系统性地高估。
• 在音译任务中，Dev Lang在10种语言中的5种中表现与Dev Set相当或更优，表明开发集上的表现对这一任务的预测能力较弱。
• 性能差距无法完全由Dev Lang设置中训练时间更短来解释，因为更长的训练有时反而导致性能下降。
• 本研究表明，在低资源环境中，基于开发集的早停会系统性地高估真实世界性能，尤其在形态学任务中更为明显。