[论文解读] Probing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders

Ivan Vulić, Goran Glavašš+4 more|arXiv (Cornell University)|Apr 30, 2022

Topic Modeling被引用 4

一句话总结

本文提出一种简单的对比微调方法，用于从多语言句子编码器（SEs）中提取并暴露隐藏的跨语言词汇知识，在双语词汇归纳（BLI）等跨语言词汇任务上实现最先进性能，仅使用1k–5k组词对翻译对即可实现最高+10 Precision@1点的性能提升。该方法有效‘重布线’SEs，使其成为强大的词汇编码器，且无需大规模平行数据。

ABSTRACT

Pretrained multilingual language models (LMs) can be successfully transformed into multilingual sentence encoders (SEs; e.g., LaBSE, xMPNet) via additional fine-tuning or model distillation with parallel data. However, it remains unclear how to best leverage them to represent sub-sentence lexical items (i.e., words and phrases) in cross-lingual lexical tasks. In this work, we probe SEs for the amount of cross-lingual lexical knowledge stored in their parameters, and compare them against the original multilingual LMs. We also devise a simple yet efficient method for exposing the cross-lingual lexical knowledge by means of additional fine-tuning through inexpensive contrastive learning that requires only a small amount of word translation pairs. Using bilingual lexical induction (BLI), cross-lingual lexical semantic similarity, and cross-lingual entity linking as lexical probing tasks, we report substantial gains on standard benchmarks (e.g., +10 Precision@1 points in BLI). The results indicate that the SEs such as LaBSE can be 'rewired' into effective cross-lingual lexical encoders via the contrastive learning procedure, and that they contain more cross-lingual lexical knowledge than what 'meets the eye' when they are used as off-the-shelf SEs. This way, we also provide an effective tool for harnessing 'covert' multilingual lexical knowledge hidden in multilingual sentence encoders.

研究动机与目标

• 探究多语言句子编码器（SEs）是否在开箱即用性能之外，存储了显著的跨语言词汇知识。
• 解决SEs在子词级别词汇任务（如BLI）中表现不如静态跨语言词嵌入（CLWEs）的问题。
• 开发一种轻量级、高效的微调方法，通过仅使用小型双语词典的对比学习，暴露这种潜在的词汇知识。
• 证明由此产生的专用编码器在标准跨语言词汇探测任务上优于原始多语言语言模型和SEs。
• 在低资源语言对上验证该方法的有效性，并探索与静态CLWEs结合以进一步提升性能。

提出的方法

• 在小型双语词典（1k–5k组词对）上，使用对比学习目标对多语言句子编码器（如LaBSE、xMPNET）和多语言语言模型（如mBERT、XLM-R）进行微调。
• 使用一种对比损失函数，将词翻译的密集向量表示拉近，同时将非翻译对推开，以优化跨语言词汇对齐。
• 对每对语言独立执行微调过程，从而为每对语言实现专用的词汇专业化。
• 仅使用孤立的词或短语作为编码器输入，避免上下文依赖，以隔离模型参数中的词汇知识。
• 将微调后得到的跨语言词汇向量与静态CLWEs（如Artetxe等人提出的）进行插值，以进一步提升性能。
• 在三个标准任务上评估该方法：双语词汇归纳（BLI）、跨语言词汇语义相似度（XLSIM）和跨语言实体链接（XL-EL）。

实验结果

研究问题

• RQ1 多语言句子编码器是否包含比其开箱即用性能所显示的更多跨语言词汇知识？
• RQ2 仅使用少量平行数据（1k–5k组词对）的轻量级对比微调过程，能否有效暴露这种隐藏的词汇知识？
• RQ3 由此产生的专用词汇编码器在标准跨语言词汇任务上的性能，与原始多语言语言模型和SEs相比如何？
• RQ4 该方法是否在低资源语言对上表现出特别显著的性能提升，尤其是在数据稀缺的情况下？
• RQ5 将微调后的编码器与静态CLWEs结合，能否进一步提升跨语言词汇任务的性能？

主要发现

• 所提出的对比微调方法在标准BLI基准上实现了最高+10 Precision@1点的性能提升，显著优于原始多语言语言模型和SEs。
• LaBSE和xMPNET等多语言SEs所包含的跨语言词汇知识远超其开箱即用版本，但若无额外微调则无法被充分利用。
• 该方法仅使用1k–5k组词对翻译对，就在BLI、XLSIM和XL-EL任务上达到最先进性能，表现出高度的效率与可扩展性。
• 在低资源语言对上观察到特别显著的性能增益，证明了该方法在低数据场景下的有效性。
• 将微调后的词汇向量与静态CLWEs插值可进一步提升性能，表明学习到的嵌入与静态嵌入之间具有互补优势。
• 该方法具有模型无关性，可应用于任何多语言编码器，是一种通用工具，用于解锁潜在的词汇知识。