[论文解读] The Geometry of Multilingual Language Model Representations

Tyler A. Chang, Zhuowen Tu+1 more|arXiv (Cornell University)|May 22, 2022

Topic Modeling被引用 4

一句话总结

本文分析了XLM-R中多语言语言模型表征的几何结构，发现语言特定特征与语言无关特征被编码在正交子空间中。经过均值中心化后，语言子空间高度相似，差异部分编码了词汇等语言特定特征；语言中性轴则保留了词元位置和词性信息，实现在各层中稳定且可解释的特征提取。

ABSTRACT

We assess how multilingual language models maintain a shared multilingual representation space while still encoding language-sensitive information in each language. Using XLM-R as a case study, we show that languages occupy similar linear subspaces after mean-centering, evaluated based on causal effects on language modeling performance and direct comparisons between subspaces for 88 languages. The subspace means differ along language-sensitive axes that are relatively stable throughout middle layers, and these axes encode information such as token vocabularies. Shifting representations by language means is sufficient to induce token predictions in different languages. However, we also identify stable language-neutral axes that encode information such as token positions and part-of-speech. We visualize representations projected onto language-sensitive and language-neutral axes, identifying language family and part-of-speech clusters, along with spirals, toruses, and curves representing token position information. These results demonstrate that multilingual language models encode information along orthogonal language-sensitive and language-neutral axes, allowing the models to extract a variety of features for downstream tasks and cross-lingual transfer learning.

研究动机与目标

• 理解多语言语言模型如何在保持语言特定信息的同时维持共享表征空间。
• 识别并表征XLM-R表征空间中的语言敏感轴与语言中性轴。
• 利用因果分析与可视化技术，评估这些子空间在模型各层中的稳定性和可解释性。
• 评估均值中心化在对齐语言子空间并分离特征特定方向中的几何作用。
• 为可解释的多语言表征学习与定向子空间对齐提供基础。

提出的方法

• 对XLM-R中88种语言的上下文感知词元表征应用奇异值分解（SVD），以识别仿射子空间。
• 采用因果消融方法，评估移除语言特定或语言中性轴对语言建模性能的影响。
• 将表征投影到由语言敏感与语言中性轴定义的低维子空间中，用于可视化与分析。
• 在均值中心化后，通过直接几何比较对比语言子空间，以评估其相似性与对齐程度。
• 使用二维与三维投影可视化表征，以识别聚类（如语言家族、词性）与拓扑结构（如螺旋、环面）。
• 基于其中间层与深层的稳定性，选取轴以分离如词元位置与词性等特征。

实验结果

研究问题

• RQ1 在均值中心化后，多语言模型（如XLM-R）中的语言子空间是否变得更加相似？这对共享表征学习有何含义？
• RQ2 表征空间中的哪些轴编码了语言敏感信息？它们在模型各层中是否稳定？
• RQ3 哪些轴编码了语言中性特征（如词元位置与词性）？其几何结构如何？
• RQ4 能否通过子空间位移隔离并操控语言特定信息？这对下游性能有何影响？
• RQ5 拓扑结构（如环面与螺旋）如何在表征空间中出现？它们编码了哪些特征？

主要发现

• 在均值中心化后，XLM-R中88种语言的语言子空间高度相似，表明共享表征结构具有高度稳定性。
• 子空间均值之间的差异编码了语言敏感信息（如词汇与语言家族），且这些轴在中间层保持稳定。
• 语言中性轴持续编码词元位置与词性，在可视化中形成稳定且可解释的结构，如环面与螺旋。
• 通过语言特定均值对表征进行位移，足以在不同语言中实现准确的词元预测，证明了子空间对齐的实用性。
• 表征空间支持语言特定与语言共享特征的正交编码，从而实现高效的特征提取与跨语言迁移。
• 可视化结果清晰显示按语言家族与词性聚类，且由于正交编码，特征间干扰极小。