[论文解读] Neural Machine Translation for Low-Resource Languages: A Survey

Surangika Ranathunga, En-Shiun Annie Lee+4 more|arXiv (Cornell University)|Jun 29, 2021

Natural Language Processing Techniques被引用 8

一句话总结

本综述对低资源语言（LRLs）的神经机器翻译（NMT）技术进行了全面分析，识别出关键方法，如无监督、半监督、多语言和迁移学习NMT。它提供了一个基于数据量、语言相关性和计算资源的决策导向框架，以选择最优的NMT技术，同时倡导开放数据、开放模型和社区驱动的资源开发，以推动公平的NMT研究。

ABSTRACT

Neural Machine Translation (NMT) has seen a tremendous spurt of growth in less than ten years, and has already entered a mature phase. While considered as the most widely used solution for Machine Translation, its performance on low-resource language pairs still remains sub-optimal compared to the high-resource counterparts, due to the unavailability of large parallel corpora. Therefore, the implementation of NMT techniques for low-resource language pairs has been receiving the spotlight in the recent NMT research arena, thus leading to a substantial amount of research reported on this topic. This paper presents a detailed survey of research advancements in low-resource language NMT (LRL-NMT), along with a quantitative analysis aimed at identifying the most popular solutions. Based on our findings from reviewing previous work, this survey paper provides a set of guidelines to select the possible NMT technique for a given LRL data setting. It also presents a holistic view of the LRL-NMT research landscape and provides a list of recommendations to further enhance the research efforts on LRL-NMT.

研究动机与目标

• 解决针对低资源语言（LRL）对量身定制的NMT技术系统性文献综述的缺乏问题。
• 识别并分析最有效的NMT方法——如无监督、半监督、多语言和迁移学习——在LRL中的应用。
• 提供一个实用的决策框架，指导研究人员根据数据集大小、语言对特征和可用计算资源选择最合适的NMT技术。
• 强调实现数据集、预训练模型和计算资源公平获取的紧迫需求，以支持代表性不足的LRL社区。
• 提出社区驱动的倡议，通过区域合作、开源工具和公共模型共享，拓展LRL-NMT研究。

提出的方法

• 对2013年至2023年期间聚焦于低资源语言对的NMT研究进行了系统性文献综述。
• 将NMT技术分类并分析为五大类：数据增强、无监督NMT、半监督NMT、多语言NMT和迁移学习。
• 对出版趋势进行定量分析，以识别新兴的研究趋势和技术采纳模式。
• 基于数据可用性、语言相关性和计算约束，开发了技术选择的决策图表。
• 评估了数据偏差、资源匮乏和可及性对LRL-NMT性能和研究公平性的影响。
• 提出一个三管齐下的推荐框架：（1）创建并共享LRL数据集和工具，（2）公开发布训练好的模型，（3）推动区域研究社区和计算资源获取。

实验结果

研究问题

• RQ1 适用于低资源语言对的主要NMT技术有哪些？该领域当前的研究趋势是什么？
• RQ2 研究人员应如何根据数据量、语言相关性和计算资源，为特定的低资源语言环境选择最合适的NMT技术？
• RQ3 LRL-NMT发展面临的主要障碍是什么？如何实现语言和区域间研究资源的更公平分配？
• RQ4 平行语料库的可用性与每种语言的NMT研究量之间存在何种相关性？
• RQ5 为推进可持续且包容的LRL-NMT研究，需要哪些机构和社区层面的行动？

主要发现

• 除回译法外，所有主要NMT技术——包括无监督、半监督、多语言和迁移学习——在研究出版物中均呈现持续上升趋势，表明其在低资源环境中的日益成熟与广泛采用。
• 无监督、半监督、多语言和迁移学习NMT方法已成为低资源翻译的默认解决方案，因其在有限平行数据下的高效性而脱颖而出。
• 一种强烈的正相关关系存在于某语言公开可用的平行语料库数量与该语言NMT研究量之间。
• 区域研究社区正日益参与平行数据的创建，这反过来推动了本地化NMT的进展。
• 大规模多语言NMT模型（如Liu et al., 2020）的公开发布，使低资源语言的高效迁移学习成为可能，显著降低了训练成本。
• 尽管已取得进展，计算资源、预训练模型和开源工具的获取仍是主要瓶颈，尤其对代表性不足地区的研究人员而言。