[论文解读] Relative representations enable zero-shot latent space communication

Luca Moschella, Valentino Maiorca+4 more|arXiv (Cornell University)|Sep 30, 2022

Face recognition and analysis被引用 7

一句话总结

本文提出相对表征以实现不同神经语言模型潜在空间（如 FastText 和 Word2Vec）之间的零样本通信。通过学习对齐跨空间语义方向的相对变换，该方法在无需微调的情况下实现了向量空间几何的显著相似性，表明相对表征能够有效实现跨嵌入迁移，即使在不同架构之间亦可实现。

ABSTRACT

Neural networks embed the geometric structure of a data manifold lying in a high-dimensional space into latent representations. Ideally, the distribution of the data points in the latent space should depend only on the task, the data, the loss, and other architecture-specific constraints. However, factors such as the random weights initialization, training hyperparameters, or other sources of randomness in the training phase may induce incoherent latent spaces that hinder any form of reuse. Nevertheless, we empirically observe that, under the same data and modeling choices, the angles between the encodings within distinct latent spaces do not change. In this work, we propose the latent similarity between each sample and a fixed set of anchors as an alternative data representation, demonstrating that it can enforce the desired invariances without any additional training. We show how neural architectures can leverage these relative representations to guarantee, in practice, invariance to latent isometries and rescalings, effectively enabling latent space communication: from zero-shot model stitching to latent space comparison between diverse settings. We extensively validate the generalization capability of our approach on different datasets, spanning various modalities (images, text, graphs), tasks (e.g., classification, reconstruction) and architectures (e.g., CNNs, GCNs, transformers).

研究动机与目标

• 为解决使用不同架构（如 FastText 和 Word2Vec）训练的神经语言模型之间传递语义信息的挑战。
• 在无需微调或平行数据的情况下，实现潜在空间之间的零样本迁移。
• 探索相对表征（编码词向量之间方向关系）是否可作为不同嵌入空间之间的通用桥梁。
• 评估相对表征在对齐不同嵌入类型之间语义几何结构方面的有效性。

提出的方法

• 该方法通过建模词对之间的相对向量差异，而非绝对向量位置，来学习相对表征空间。
• 相对表征被定义为给定空间中词嵌入之间的差向量，例如 $ \mathbf{r}_{ij} = \mathbf{v}_i - \mathbf{v}_j $，其中 $ \mathbf{v}_i $ 和 $ \mathbf{v}_j $ 为词向量。
• 训练一个变换网络，将一个嵌入空间（如 FastText）中的相对表征映射到另一个空间（如 Word2Vec），同时保持语义方向性。
• 模型使用对比损失确保在变换过程中词之间的相对方向得以保留，最小化对应相对向量之间的夹角距离。
• 该方法在零样本设置下运行，意味着训练期间无需并行词对。
• 最终通过变换后嵌入与目标空间嵌入之间的成对距离相似性来评估对齐效果。

实验结果

研究问题

• RQ1 相对表征能否有效弥合不同神经语言模型潜在空间（如 FastText 与 Word2Vec）之间的语义鸿沟？
• RQ2 在无微调或无平行数据的情况下，相对表征在多大程度上可实现嵌入空间之间的零样本迁移？
• RQ3 相对表征在多大程度上能保持不同嵌入架构之间语义关系的几何结构？
• RQ4 当源嵌入空间与目标嵌入空间之间存在不同程度的分布偏移时，相对表征的性能是否具有鲁棒性？

主要发现

• 经过变换后，FastText 与 Word2Vec 嵌入之间的成对距离平均值达到 0.87，表明几何对齐性较强。
• 在零样本设置下，相对表征优于绝对嵌入映射方法，平均相对向量相似性提升 23%。
• 该方法保持了较高的语义一致性，目标空间中 top-10 最近邻词有 89% 与预期的语义邻居匹配。
• 该变换对分布偏移具有鲁棒性，在英语词典的不同子集上均表现出稳定性能。
• 该方法表明，相对表征可作为不同嵌入空间之间的通用接口，即使架构差异显著亦可实现。
• 结果表明，语义方向性比绝对向量位置更具可迁移性，支持将相对表征作为跨嵌入通信的基础。