[论文解读] Multi-Way Representation Alignment

Akshit Achara, Tatiana Gaintseva+6 more|arXiv (Cornell University)|Feb 5, 2026

Advanced Graph Neural Networks被引用 0

一句话总结

论文引入 Geometry-Corrected Procrustes Alignment (GCPA)，通过 GPA 构建 M 个模型的共享正交宇宙，然后应用事后基于共识的修正来在保持几何结构的同时改善两两检索。

ABSTRACT

The Platonic Representation Hypothesis suggests that independently trained neural networks converge to increasingly similar latent spaces. However, current strategies for mapping these representations are inherently pairwise, scaling quadratically with the number of models and failing to yield a consistent global reference. In this paper, we study the alignment of $M \ge 3$ models. We first adapt Generalized Procrustes Analysis (GPA) to construct a shared orthogonal universe that preserves the internal geometry essential for tasks like model stitching. We then show that strict isometric alignment is suboptimal for retrieval, where agreement-maximizing methods like Canonical Correlation Analysis (CCA) typically prevail. To bridge this gap, we finally propose Geometry-Corrected Procrustes Alignment (GCPA), which establishes a robust GPA-based universe followed by a post-hoc correction for directional mismatch. Extensive experiments demonstrate that GCPA consistently improves any-to-any retrieval while retaining a practical shared reference space.

研究动机与目标

• 通过建立一个共享宇宙，将多于两个神经表示的对齐问题形式化为 Motivate and formalize the problem of aligning more-than-two neural representations via a shared universe.
• 将 Generalized Procrustes Analysis (GPA) 改造为为 M 个模型构建一个健壮、几何保持的共用空间。
• 识别等距宇宙（GPA）与基于一致性的方法（GCCA）之间在检索性能上的差距。
• 提出并验证 Geometry-Corrected Procrustes Alignment (GCPA)，以结合几何保真性与跨模型的一致性。
• 展示在增加模型数量时的可扩展性，以及在探测、聚类与检索任务中的鲁棒性。

提出的方法

• 用一个映射将每个模型映射到共享参考 U，从而实现 O(M) 个映射的宇宙分解。
• 改造 GPA，通过最小化到共识 U 的距离和更新每个模型的正交映射来学习一个正交宇宙。
• 比较等距 GPA 与 GCCA，揭示在 GCCA 的变形有利于检索时存在的检索差距。
• 引入 GCPA：先求解 GPA 得到正交宇宙，然后应用一个共享残差校正 T_theta，使表示朝向每个样本 i 的共识方向 c_i 靠拢，同时通过信任项遵循 GPA 的几何结构。
• 将共识方向 c_i 定义为所有模型在样本 i 上经单位化映射向量的归一化平均。

Figure 2: Multi-way alignment stabilizes fragile connections. On edge-heavy CIFAR-100, we isolate a “weak” model pair with poor alignment. By progressively expanding the universe with robust models and refitting the universe, we observe a monotonic increase in stitching accuracy between the original

实验结果

研究问题

• RQ1 一个带有正交映射的共享宇宙是否能为 M 个模型提供一个一致、可扩展的替代两两对齐的方法？
• RQ2 GPA 的几何保持是否会损害检索，是否可以通过事后修正恢复检索性能而不损失几何保真？
• RQ3 在多语言、跨相机与多模态场景中，GCPA 是否能在探测、聚类和检索方面超越 GPA 与 GCCA？
• RQ4 向已有宇宙添加新模型对对齐效率和性能有何影响？

主要发现

Table/Metric	NA	GPA	GCCA	GCPA	Notes
Clustering (MASSIVE) ARI	0.198 ± 0.035	0.198 ± 0.036	0.194 ± 0.032	0.300 ± 0.024	GCPA 提升聚类质量
Clustering (MASSIVE) NMI	0.509 ± 0.041	0.509 ± 0.041	0.508 ± 0.038	0.617 ± 0.022	GCPA 提升聚类质量
Cross-lingual TED-Multi (Avg Rank-1)	Not reported	Not reported	Not reported	0.637 ± 0.?	GCPA 取得最高检索；详见正文

• 带有 GPA 的共享宇宙将复杂性从 O(M^2) 降至 O(M) 映射，并通过设计确保循环一致性。
• 严格的等距性（GPA）保持几何结构，但在检索上不及 GCCA，后者通过放松正交性来最大化跨模型一致性。
• GCPA 在多语言翻译（TED-Multi）、跨相机再识别（Market-1501）和多模态对齐（Flickr8k）等任务中，始终优于 GPA 和 GCCA 的任意对比检索。
• 在 MASSIVE 的聚类中，GCPA 相对于 NA、GPA 与 GCCA 显著提升 ARI 和 NMI（ARI: 0.300±0.024，NMI: 0.617±0.022，GCPA 对比基线约 0.198–0.509）。
• GCPA 能随语言数量增加（M=3,5,10）而扩展，并在宇宙空间数量增加时仍保持鲁棒性，在平均及最差检索性能上超过 PW、GPA 与 GCCA。
• GCPA 对 TED-Multi 的对应噪声表现出较强鲁棒性，并在跨模态一致性方面取得优越表现（Δ^+ 更低，Γ_90 更高）。

Figure 3: Cross-model probing on CIFAR-100. Adding a new model by fitting only $\Omega_{M+1}$ into a fixed universe (GPA-ADD) approaches refitting the universe (GPA-REFIT) and outperforms PW alignment. To cover diverse scenarios, we use four different base model sets where the first two (from the le