[论文解读] Towards Best Practices for Training Multilingual Dense Retrieval Models

Xinyu Zhang, Kelechi Ogueji+2 more|arXiv (Cornell University)|Apr 5, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本文基于实证研究，为使用双编码器框架训练多语言稠密检索模型提供了最佳实践，重点聚焦于类型差异显著的语言之间的单语检索。研究证明，预先在英语 MS MARCO 数据上进行微调可提升在无关语言中的性能，且通过多语言 BERT 实现的跨语言共享子词标记，即使在不同文字系统之间也能实现强大的跨语言迁移。

ABSTRACT

Dense retrieval models using a transformer-based bi-encoder design have emerged as an active area of research. In this work, we focus on the task of monolingual retrieval in a variety of typologically diverse languages using one such design. Although recent work with multilingual transformers demonstrates that they exhibit strong cross-lingual generalization capabilities, there remain many open research questions, which we tackle here. Our study is organized as a "best practices" guide for training multilingual dense retrieval models, broken down into three main scenarios: where a multilingual transformer is available, but relevance judgments are not available in the language of interest; where both models and training data are available; and, where training data are available not but models. In considering these scenarios, we gain a better understanding of the role of multi-stage fine-tuning, the strength of cross-lingual transfer under various conditions, the usefulness of out-of-language data, and the advantages of multilingual vs. monolingual transformers. Our recommendations offer a guide for practitioners building search applications, particularly for low-resource languages, and while our work leaves open a number of research questions, we provide a solid foundation for future work.

研究动机与目标

• 为在低资源和非英语语言中训练多语言稠密检索模型提供实用且基于证据的指导。
• 探究当目标语言缺乏相关性判断时，跨语言迁移的有效性。
• 评估多阶段微调、非目标语言数据以及单语与多语言模型对检索性能的影响。
• 理解多语言 BERT 中实现跨语言迁移的潜在机制，特别是通过共享子词和参数共享。
• 为构建多语言搜索系统（尤其是低资源语言）的实践者提供可操作的建议。

提出的方法

• 以稠密段落检索器（DPR）双编码器架构作为稠密检索的基础模型。
• 采用多阶段微调：先在 MS MARCO（英语）上进行预微调，随后在目标语言数据可用时进行微调。
• 利用 mBERT 的分词方式分析不同语言语料之间的子词重叠，量化跨语言的共享词汇量。
• 比较在非英语数据上微调的多语言 BERT（mBERT）与单语 BERT（如英语 BERT）的性能，以评估迁移能力。
• 评估跨语言家族和文字系统（如英语到阿拉伯语，或泰语到泰卢固语）的跨语言迁移效果。
• 使用标准信息检索指标（如召回率@10、平均倒数排名）衡量在多种语言对上的有效性。

实验结果

研究问题

• RQ1 在英语 MS MARCO 数据上进行预微调是否能提升在低资源、语言上无关的语种中的检索性能？
• RQ2 语言之间的子词重叠在多大程度上解释了多语言 BERT 中的跨语言迁移？
• RQ3 在未进行多语言预训练的情况下，仅在非英语语言上微调的单语 BERT 模型是否能在该语言中表现良好？
• RQ4 当源语言和目标语言使用不同文字系统（如拉丁字母 vs. 西里尔字母 vs. 阿拉伯字母）时，跨语言迁移的有效性如何？
• RQ5 共享模型参数和跨语言锚点在实现语言无关语言之间迁移方面起到什么作用？

主要发现

• 在 MS MARCO（英语）上进行预微调能持续提升目标语言的检索性能，即使目标语言与英语语言无关，且极少造成性能下降。
• 在泰语上微调的 mBERT 在阿拉伯语检索中表现优异，表明即使在不同文字系统和语言家族之间，跨语言迁移依然有效。
• 在俄语相关性判断数据上微调的单语英语 BERT 在俄语中表现具有竞争力，表明共享子词和跨语言锚点可实现有效迁移。
• 语言之间的子词重叠程度较高——例如，87.2% 的阿拉伯语子词和 62.2% 的英语子词是共享的——表明共享词汇是跨语言迁移的关键促成因素。
• 跨语言间大量共享的子词（如英语与阿拉伯语）并非源自任一语言本身，表明 mBERT 在预训练期间从跨语言混用模式中学习。
• 语言间共享的子词和参数结构解释了为何多语言模型能在多样化的语言类型间实现良好泛化，即使未进行显式的多语言微调。