[论文解读] Transformer based Multilingual document Embedding model

Wei Li, Brian Mak|arXiv (Cornell University)|Aug 19, 2020

Topic Modeling参考文献 22被引用 4

一句话总结

该论文提出 cT-LASER，一种基于 Transformer 的多语言文档嵌入模型，用自注意力 Transformer 架构替代 LASER 的 BiLSTM 编码器，并引入一种新颖的距离约束损失函数以提升跨语言对齐效果。该模型实现了更快的训练速度，并在跨语言迁移任务中显著优于 LASER 和标准 T-LASER，在跨语言分类基准测试中相较 LASER 提升了 7.2% 的性能表现。

ABSTRACT

One of the current state-of-the-art multilingual document embedding model LASER is based on the bidirectional LSTM neural machine translation model. This paper presents a transformer-based sentence/document embedding model, T-LASER, which makes three significant improvements. Firstly, the BiLSTM layers is replaced by the attention-based transformer layers, which is more capable of learning sequential patterns in longer texts. Secondly, due to the absence of recurrence, T-LASER enables faster parallel computations in the encoder to generate the text embedding. Thirdly, we augment the NMT translation loss function with an additional novel distance constraint loss. This distance constraint loss would further bring the embeddings of parallel sentences close together in the vector space; we call the T-LASER model trained with distance constraint, cT-LASER. Our cT-LASER model significantly outperforms both BiLSTM-based LASER and the simpler transformer-based T-LASER.

研究动机与目标

• 通过用 Transformer 架构替换 LASER 中的 BiLSTM 编码器，开发一种训练更快、效果更优的多语言文档嵌入模型。
• 通过引入一种新颖的距离约束损失函数，提升多语言嵌入中的跨语言对齐效果。
• 在受控训练条件下，评估新模型 cT-LASER 在多语言及双语跨语言迁移任务中的性能表现。
• 证明距离约束损失可提升跨语言性能，同时不损害同语言性能。

提出的方法

• 用 Transformer 编码器替换 LASER 中的 BiLSTM 编码器，以支持更好的并行计算和长距离序列建模。
• 采用共享编码器和统一词典的多语言神经机器翻译（NMT）框架进行模型训练。
• 引入一种距离约束损失，以最小化共享向量空间中平行句子的句向量之间的 L2 距离。
• 在端到端训练过程中，将标准 NMT 翻译损失与距离约束损失相结合，联合优化翻译任务与嵌入对齐效果。
• 使用 Europarl 平行语料库进行预训练，并在 MLdoc 数据集上评估跨语言文档分类性能。
• 控制训练超参数、批量大小、优化器和随机种子，以确保 LASER、T-LASER 和 cT-LASER 之间的公平比较。

实验结果

研究问题

• RQ1 与 BiLSTM 相比，基于 Transformer 的编码器是否能提升多语言文档嵌入模型的性能和训练速度？
• RQ2 在 NMT 目标中加入距离约束损失，是否能增强句子嵌入的跨语言对齐效果？
• RQ3 在缺乏枢纽语言的低资源或双语设置下，模型表现如何？
• RQ4 距离约束损失是否能在不降低同语言性能的前提下提升跨语言性能？

主要发现

• 在 MLdoc 基准测试中，cT-LASER 相较于 LASER 在跨语言分类准确率上提升了 7.2%，显著优于 LASER 和标准 T-LASER。
• 在跨语言任务中，cT-LASER 相较于 LASER_6 表现高出 5.1%，证明了距离约束损失的有效性。
• 由于 Transformer 架构在 GPU 上具备更优的并行性，cT-LASER 的训练速度（WPS）优于 LASER_1 和 LASER_6。
• 在缺乏枢纽语言的双语设置下，cT-LASER 的跨语言性能提升超过 16%，表明距离约束损失可在无枢纽语言时仍实现知识迁移。
• 与 LASER_6 相比，cLASER_6 在跨语言性能上提升了 2.5%，而对同语言性能的影响可忽略不计。
• 距离约束带来的性能增益在不同随机种子下保持稳定，表明对训练随机性具有鲁棒性。