[论文解读] What does it mean to be language-agnostic? Probing multilingual sentence encoders for typological properties

Rochelle Choenni, Ekaterina Shutova|arXiv (Cornell University)|Sep 27, 2020

Topic Modeling参考文献 31被引用 29

一句话总结

本论文通过在WALS数据上采用探针分类方法，探究了多语言句子编码器（LASER、M-BERT、XLM、XLM-R）在词汇、形态和句法维度上的类型学特性。研究发现，单语预训练（M-BERT、XLM-R）在所有层中均更好地保留了语言特定的类型学特征，而跨语言预训练（LASER、XLM）则将此类信息局限于低层，并在一定程度上以牺牲语言特异性为代价，促进了语言无关的表征。

ABSTRACT

Multilingual sentence encoders have seen much success in cross-lingual model transfer for downstream NLP tasks. Yet, we know relatively little about the properties of individual languages or the general patterns of linguistic variation that they encode. We propose methods for probing sentence representations from state-of-the-art multilingual encoders (LASER, M-BERT, XLM and XLM-R) with respect to a range of typological properties pertaining to lexical, morphological and syntactic structure. In addition, we investigate how this information is distributed across all layers of the models. Our results show interesting differences in encoding linguistic variation associated with different pretraining strategies.

研究动机与目标

• 探究多语言句子编码器如何在不同语言维度上编码语言的类型学特性。
• 检查类型学信息在模型架构中的具体位置（即哪些层）被编码和保留。
• 比较不同预训练策略（单语 vs. 跨语言）对语言差异编码的影响。
• 评估语言无关表征是否以牺牲语言特定的类型学特征保留为代价。
• 评估XLM在未见语言上的类型学编码泛化能力。

提出的方法

• 使用二分类或多分类分类头，从四个多语言编码器（LASER、M-BERT、XLM、XLM-R）中探针句子表征，以从WALS数据库中预测类型学特征。
• 采用逐层探针策略，分析类型学信息在Transformer编码器各层中的分布。
• 为每层训练独立分类器，以测量每类类型学特征的宏平均F1分数。
• 应用t-SNE可视化，以检查最终隐藏状态中语言表征的几何组织结构。
• 分析学习到的混合权重和KL散度，以评估表征在各层间的演化过程。
• 通过探针未在预训练期间见过的语言的类型学特征，测试XLM的零样本泛化能力。

实验结果

研究问题

• RQ1 多语言句子编码器在多大程度上编码了诸如词序、否定和代词使用等类型学特性？
• RQ2 在模型架构中——具体来说是在哪些层中——类型学信息被定位或保留？
• RQ3 不同的预训练目标（单语 vs. 跨语言）如何影响语言差异的编码？
• RQ4 是否存在通用性（语言无关性）与语言特定类型学特征保留之间的权衡？
• RQ5 XLM能否泛化以捕捉预训练期间未见过的语言的类型学特性？

主要发现

• 所有编码器均成功捕捉了词序、否定和代词相关类型学特征，其中M-BERT和XLM-R在词汇和形态特征上的表现优于LASER和XLM。
• 在M-BERT和XLM-R中，类型学信息在所有层中持续被编码，而在LASER和XLM中，信息主要局限于低层，并在高层中逐渐消失。
• 跨语言预训练目标（LASER、XLM）导致更具语言无关性的表征空间，使语言在高层中聚类为共享的跨语言空间，但代价是损失了语言特定的类型学细节。
• 单语预训练目标（M-BERT、XLM-R）促使模型在深层中仍保持语言特定的子空间，表明其对类型学差异的保留能力更强。
• XLM能够泛化至未见语言，并成功捕捉其类型学特性，表明其具备稳健的零样本迁移能力。
• 结果表明，模型通用性与语言特定类型学信息保留之间存在负相关关系，跨语言训练在提升通用性的同时，以牺牲语言特异性为代价。