[论文解读] Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers

Libo Qin, Qiguang Chen+7 more|arXiv (Cornell University)|Apr 7, 2024

Natural Language Processing Techniques被引用 12

一句话总结

本论文对多语言大语言模型（MLLMs）进行了全面综述，提出基于对齐策略的新分类法，并强调数据资源、前沿领域和挑战。

ABSTRACT

Multilingual Large Language Models are capable of using powerful Large Language Models to handle and respond to queries in multiple languages, which achieves remarkable success in multilingual natural language processing tasks. Despite these breakthroughs, there still remains a lack of a comprehensive survey to summarize existing approaches and recent developments in this field. To this end, in this paper, we present a thorough review and provide a unified perspective to summarize the recent progress as well as emerging trends in multilingual large language models (MLLMs) literature. The contributions of this paper can be summarized: (1) First survey: to our knowledge, we take the first step and present a thorough review in MLLMs research field according to multi-lingual alignment; (2) New taxonomy: we offer a new and unified perspective to summarize the current progress of MLLMs; (3) New frontiers: we highlight several emerging frontiers and discuss the corresponding challenges; (4) Abundant resources: we collect abundant open-source resources, including relevant papers, data corpora, and leaderboards. We hope our work can provide the community with quick access and spur breakthrough research in MLLMs.

研究动机与目标

• 提供首个按多语言对齐策略组织的 MLLMs 的全面综述。
• 引入统一的分类法，比较参数微调对齐与参数冻结对齐。
• 识别新兴前沿及其挑战，以引导未来的 MLLM 研究。
• 为社区整理开源资源、数据集和排行榜。

提出的方法

• 提出将参数微调对齐（PTA）与参数冻结对齐（PFA）分离的新分类法。
• 对多语言预训练、监督微调和 RLHF 阶段的数据资源进行调查。
• 将多语言 SFT 和 RLHF 数据分类为人工创建、翻译、基准适配，以及由 MLLMs 辅助生成。
• 详细阐述 PTA 阶段：预训练、SFT、RLHF，以及具有示例和方法的下游微调。
• 详细说明四种 PFA 提示策略：直接提示、代码切换提示、翻译对齐提示，以及检索增强对齐。

实验结果

研究问题

• RQ1 MLLMs 如何在训练与推理过程中按对齐策略进行系统分类？
• RQ2 用于构建和改进 MLLMs 的数据资源与提示技术有哪些？
• RQ3 包括安全性、公平性和知识编辑在内的 MLLMs 的新兴前沿与实际挑战有哪些？
• RQ4 从事 MLLMs 研究的研究人员可利用哪些资源（数据、论文、排行榜）？

主要发现

• 一个新的统一分类法将参数微调对齐与参数冻结对齐区分开。
• PTA 包含预训练对齐、SFT 对齐、RLHF 对齐，以及下游微调对齐。
• PFA 依赖于提示策略，如直接提示、代码切换、翻译对齐和检索增强。
• 本文汇集丰富资源，包括开源软件、多语言语料库和排行榜，以帮助研究人员快速获取。
• 翻译对齐提示被特别强调为跨语言对齐的有效方法，而检索增强有助于弥补知识差距。