[论文解读] Spectral Alignment of Correlated Gaussian matrices

Luca Ganassali, Marc Lelarge+1 more|arXiv (Cornell University)|Nov 30, 2019

Bayesian Methods and Mixture Models被引用 4

一句话总结

该论文分析了EIG1谱方法在对齐相关高斯矩阵时的表现，该方法用于对齐两个相关矩阵A和B = Π^T(A + σH)Π的主特征向量。研究建立了σ ≍ N^{-7/6}的精确阈值：当σN^{7/6+ϵ} → 0时，EIG1以高概率恢复大部分排列π；当σN^{7/6−ϵ} → ∞时，仅能恢复o(N)个正确匹配，证明了在GOE模型下谱矩阵对齐的零一律。

ABSTRACT

In this paper we analyze a simple spectral method (EIG1) for the problem of matrix alignment, consisting in aligning their leading eigenvectors: given two matrices $A$ and $B$, we compute $v_1$ and $v'_1$ two corresponding leading eigenvectors. The algorithm returns the permutation $\hat{\pi}$ such that the rank of coordinate $\hat{\pi}(i)$ in $v_1$ and that of coordinate $i$ in $v'_1$ (up to the sign of $v'_1$) are the same. We consider a model of weighted graphs where the adjacency matrix $A$ belongs to the Gaussian Orthogonal Ensemble (GOE) of size $N imes N$, and $B$ is a noisy version of $A$ where all nodes have been relabeled according to some planted permutation $\pi$, namely $B= \Pi^T (A+\sigma H) \Pi $, where $\Pi$ is the permutation matrix associated with $\pi$ and $H$ is an independent copy of $A$. We show the following zero-one law: with high probability, under the condition $\sigma N^{7/6+\epsilon} o 0$ for some $\epsilon>0$, EIG1 recovers all but a vanishing part of the underlying permutation $\pi$, whereas if $\sigma N^{7/6-\epsilon} o \infty$, this method cannot recover more than $o(N)$ correct matches. This result gives an understanding of the simplest and fastest spectral method for matrix alignment (or complete weighted graph alignment), and involves proof methods and techniques which could be of independent interest.

研究动机与目标

• 分析最简单的谱方法EIG1在存在噪声情况下的矩阵对齐性能。
• 在相关高斯矩阵模型中，建立对底层排列π恢复的精确阈值。
• 为EIG1提供理论保证，该方法是比计算成本更高的谱方法（如GRAMPA）更简单的低复杂度替代方案。
• 理解在噪声图对齐问题中，秩一谱降维的极限。
• 发展适用于随机矩阵理论和图匹配中谱方法的证明技术。

提出的方法

• 建模两个N×N的相关矩阵A和B，其中B是A + σH的噪声、置换版本，H ∼ GOE。
• 应用EIG1：计算A的主特征向量v₁和B的主特征向量v′₁，然后通过秩排列对齐。
• 在v₁和v′₁的张成空间中使用几何投影框架，分析噪声下的特征向量对齐。
• 使用i.i.d.高斯变量的简化模型，近似特征向量对齐过程的行为。
• 应用集中不等式和大偏差理论，控制特征向量重叠与排列恢复。
• 利用旋转不变性和球面对称性，将问题简化为对特征值和特征向量波动的一维分析。

实验结果

研究问题

• RQ1 在噪声相关矩阵模型中，EIG1谱方法恢复底层排列π的根本极限是什么？
• RQ2 EIG1是否能实现π的精确或部分恢复，其在噪声水平σ下的条件是什么？
• RQ3 是否存在一个在σ上的精确阈值，将成功恢复与失败恢复的区域分隔开？
• RQ4 与更复杂的谱方法（如GRAMPA）相比，EIG1在恢复阈值和计算成本方面表现如何？
• RQ5 对秩一降维的分析能否为高阶谱方法的行为提供洞见？

主要发现

• 当σN^{7/6+ϵ} → 0（对任意ϵ > 0）时，EIG1以高概率恢复π中除o(N)个条目外的所有条目。
• 当σN^{7/6−ϵ} → ∞时，EIG1仅能恢复o(N)个正确匹配，表明无法恢复π的常数比例。
• 阈值σ ≍ N^{-7/6}标志着一个尖锐的相变：低于该值时，恢复几乎完全；高于该值时，恢复可忽略不计。
• 证明依赖于一种新颖的耦合论证和GOE系综中特征向量波动的分析，显示在阈值以下时⟨v₁, v′₁⟩ ≍ σN^{1/6}。
• 该方法实现O(N²)的时间复杂度，显著快于GRAMPA的O(N³)，同时在密集图情形下达到与GRAMPA相同的理论阈值。
• 该结果建立了谱矩阵对齐的零一律：恢复要么几乎完全，要么几乎不可能，取决于噪声水平相对于N^{-7/6}的大小。