[论文解读] Participatory Research for Low-resourced Machine Translation: A Case Study in African Languages

Wilhelmina Nekoto, Vukosi Marivate+46 more|arXiv (Cornell University)|Oct 5, 2020

Natural Language Processing Techniques被引用 5

一句话总结

本文提出参与式研究作为一种可扩展的、由社区驱动的方法，用于为资源匮乏的非洲语言构建可持续的机器翻译（MT）系统。通过让母语者、语言技术专家和当地利益相关者参与数据收集、标注和人工评估，作者创建了针对30多种非洲语言的新翻译数据集和基准，对多种资源匮乏语言进行了首次人工评估——证明非专家贡献者能够显著推动MT研究的发展。

ABSTRACT

Research in NLP lacks geographic diversity, and the question of how NLP can be scaled to low-resourced languages has not yet been adequately solved. "Low-resourced"-ness is a complex problem going beyond data availability and reflects systemic problems in society. In this paper, we focus on the task of Machine Translation (MT), that plays a crucial role for information accessibility and communication worldwide. Despite immense improvements in MT over the past decade, MT is centered around a few high-resourced languages. As MT researchers cannot solve the problem of low-resourcedness alone, we propose participatory research as a means to involve all necessary agents required in the MT development process. We demonstrate the feasibility and scalability of participatory research with a case study on MT for African languages. Its implementation leads to a collection of novel translation datasets, MT benchmarks for over 30 languages, with human evaluations for a third of them, and enables participants without formal training to make a unique scientific contribution. Benchmarks, models, data, code, and evaluation results are released under https://github.com/masakhane-io/masakhane-mt.

研究动机与目标

• 解决NLP研究中地理和语言多样性不足的问题，特别是针对资源匮乏的非洲语言。
• 诊断NLP中资源匮乏现象背后的系统性问题，包括历史边缘化、教育投入不足以及研究人员代表性缺失。
• 通过让所有必要参与者——语言使用者、数据整理者、翻译人员和技术专家——共同参与开发过程，克服传统MT研究的局限性。
• 证明参与式研究能够产出高质量、经人工评估的基准和数据集，且无需正式培训。
• 建立一种可持续、可扩展的MT研究模式，赋能本地社区，并确保与真实世界语言使用的相关性。

提出的方法

• 采用参与式研究框架，让母语者、语言技术专家和利益相关者作为共同创造者参与数据收集、标注和评估。
• 通过志愿驱动、基于社区的翻译和后编辑工作流，为30多种非洲语言生成平行语料库和人工评估数据。
• 利用现有的JW300和Multitarget TED数据集作为基线和模型评估的测试集。
• 将后编辑作为主要评估方法，以实现错误分析，并相比直接评估降低校准成本。
• 通过开源平台（GitHub）和社区协调促进分布式协作，以扩展数据和模型开发。
• 通过在医疗和专业技术等具有挑战性的领域收集翻译，优先考虑领域多样性，从而提升模型的鲁棒性和实际应用价值。

实验结果

研究问题

• RQ1 参与式研究模型如何有效让非专家母语者参与资源匮乏的非洲语言机器翻译系统开发？
• RQ2 语言使用者和本地利益相关者参与数据收集和人工评估，对MT基准的质量和相关性有何影响？
• RQ3 参与式研究能否为此前缺乏此类资源的语言生成可靠的人工评估MT基准？
• RQ4 包括数据整理者、翻译人员和内容创作者等多样化参与者，如何提升资源匮乏MT研究的可持续性和可扩展性？
• RQ5 在评估资源匮乏语言的模型性能时，社区驱动的评估在多大程度上优于或补充传统的自动指标（如BLEU）？

主要发现

• 参与式方法成功为30多种非洲语言生成了新颖的人工评估翻译数据集，11名志愿者在10天内评估了707项翻译。
• 人工评估显示，JW300基准上的BLEU分数可能具有误导性，特别是在Igbo和Yoruba等语言中，高分并未反映实际翻译质量，原因在于方言不一致。
• Hausa语言中评估者判断与模型输出之间的Spearman等级相关系数（ρ = 0.56）表明中等程度的一致性，表明后编辑是一种可行且可分析的评估方法。
• 训练数据规模比基准分数更能可靠地预测模型泛化能力，凸显了仅依赖自动指标的局限性。
• 本研究证明，当提供简单易用的工作流程时，非专家贡献者（如社区成员和家庭网络）能够开展有意义的人工评估。
• 对于Igbo、Yoruba和Dendi等语言，本研究是首次对机器翻译输出进行人工评估，标志着资源匮乏NLP领域的一项重要里程碑。