[论文解读] Robust Cross-lingual Embeddings from Parallel Sentences

Ali Reza Sabet, Prakhar Gupta+3 more|arXiv (Cornell University)|Dec 28, 2019

Topic Modeling参考文献 39被引用 12

一句话总结

该论文提出 Bi-Sent2vec，即 Sent2vec 模型的双语扩展，通过并行句子语料库联合学习跨语言词向量与句子向量。通过同时训练单语和跨语言目标，其在跨语言句子检索任务上达到最先进性能，尤其在语言差异较大的语料对上表现优异，且在零样本文档分类任务中与深度 RNN 模型（如 Laser）相比性能相当或更优，同时计算成本显著降低。

ABSTRACT

Recent advances in cross-lingual word embeddings have primarily relied on mapping-based methods, which project pretrained word embeddings from different languages into a shared space through a linear transformation. However, these approaches assume word embedding spaces are isomorphic between different languages, which has been shown not to hold in practice (Søgaard et al., 2018), and fundamentally limits their performance. This motivates investigating joint learning methods which can overcome this impediment, by simultaneously learning embeddings across languages via a cross-lingual term in the training objective. We propose a bilingual extension of the CBOW method which leverages sentence-aligned corpora to obtain robust cross-lingual word and sentence representations. Our approach significantly improves cross-lingual sentence retrieval performance over all other approaches while maintaining parity with the current state-of-the-art methods on word-translation. It also achieves parity with a deep RNN method on a zero-shot cross-lingual document classification task, requiring far fewer computational resources for training and inference. As an additional advantage, our bilingual method leads to a much more pronounced improvement in the the quality of monolingual word vectors compared to other competing methods.

研究动机与目标

• 为克服基于线性映射的跨语言词向量方法的局限性，这些方法假设不同语言间的嵌入空间具有同构性——而这一假设在实践中常被违反。
• 通过使用并行句子数据联合学习多语言表示，提升跨语言迁移性能，尤其针对低资源或语言差异较大的语料对。
• 通过与跨语言监督联合训练，提升单语词表示质量，基于双语上下文可增强单语向量的见解。
• 开发一种计算效率更高的深度神经网络句向量编码器（如 Laser）的替代方案，适用于设备端部署。
• 探究句级训练目标是否在联合跨语言表示学习中优于固定窗口上下文模型。

提出的方法

• 通过在句子对齐的并行语料上同时训练单语和跨语言预测目标，将单语 Sent2vec 模型扩展至双语设置。
• 使用共享嵌入空间，将两种语言的词与句子投影至同一空间，模型被训练为在两种语言中同时根据上下文预测目标词。
• 在单语与跨语言上下文中采用负采样损失函数，其中跨语言部分强制对齐对应句子表示。
• 训练期间引入 n-gram 特征（如二元组）以提升表示质量，但发现在语言差异较大的语料对上性能下降。
• 采用加权损失函数，结合单语与跨语言目标，可通过训练进度自适应调整权重，以避免性能饱和。
• 采用简单的词袋架构，通过词向量平均编码句子，实现低延迟推理。

实验结果

研究问题

• RQ1 通过句子对齐的并行语料联合学习跨语言表示，是否能优于假设嵌入空间同构性的线性映射方法？
• RQ2 在并行句子上进行训练，是否能显著提升单语词表示质量，超越仅靠单语预训练所能达到的效果？
• RQ3 联合学习方法在不同类型语言对（尤其是差异较大的语言）上的性能表现如何？其性能是否随语言类型差异增大而变化？
• RQ4 像 Bi-Sent2vec 这样简单且非循环的模型，能否在零样本文档分类任务上达到与深度 RNN 模型（如 Laser）相当的性能？
• RQ5 n-gram 特征与语料规模对联合跨语言学习的鲁棒性与可扩展性有何影响？

主要发现

• Bi-Sent2vec 在跨语言句子检索任务上达到最先进性能，显著优于所有对比方法（包括基于映射与联合学习的模型），尤其在语言差异较大的语料对上表现突出。
• 在单语词相似性基准（SimLex-999 与 WS-353）上，Bi-Sent2vec 显著优于 Sent2vec 与 FastText，尽管其训练用的单语语料规模小于 FastText。
• 在跨语言词检索任务中，Bi-Sent2vec 与当前最先进方法保持相当，展现出在多样化语言对上的鲁棒性。
• 在 MLDoc 零样本文档分类任务中，Bi-Sent2vec 达到 77.8% 的平均准确率，略高于 Laser 的 77.3%，尽管其模型结构更简单且非循环。
• 与 Laser 相比，Bi-Sent2vec 在训练与推理阶段的计算成本均降低一个数量级，使其更适合设备端应用。
• n-gram 特征可提升单语性能，但在语言差异较大的语料对上会降低跨语言性能，表明结构复杂性存在权衡。