[论文解读] Reconstructing undirected graphs from eigenspaces

Yohann de Castro, Thibault Espinasse+1 more|arXiv (Cornell University)|Mar 26, 2016

Markov Chains and Monte Carlo Methods参考文献 14被引用 7

一句话总结

该论文提出了一种新颖的方法，通过基于估计算子与真实算子之间交换子的Frobenius范数的反向选择算法，从邻接矩阵的扰动特征空间中重构无向加权图。在Erdős-Rényi模型中，该方法在期望边数为 $ N\log N/2 $ 时展现出尖锐的可识别性相变。理论保证了支撑集恢复性能，并在模拟数据和真实数据上进行了经验验证。

ABSTRACT

In this paper, we aim at recovering an undirected weighted graph of $N$ vertices from the knowledge of a perturbed version of the eigenspaces of its adjacency matrix $W$. For instance, this situation arises for stationary signals on graphs or for Markov chains observed at random times. Our approach is based on minimizing a cost function given by the Frobenius norm of the commutator $\mathsf{A} \mathsf{B}-\mathsf{B} \mathsf{A}$ between symmetric matrices $\mathsf{A}$ and $\mathsf{B}$. In the Erdős-Rényi model with no self-loops, we show that identifiability (i.e., the ability to reconstruct $W$ from the knowledge of its eigenspaces) follows a sharp phase transition on the expected number of edges with threshold function $N\log N/2$. Given an estimation of the eigenspaces based on a $n$-sample, we provide support selection procedures from theoretical and practical point of views. In particular, when deleting an edge from the active support, our study unveils that our test statistic is the order of $\mathcal O(1/n)$ when we overestimate the true support and lower bounded by a positive constant when the estimated support is smaller than the true support. This feature leads to a powerful practical support estimation procedure. Simulated and real life numerical experiments assert our new methodology.

研究动机与目标

• 解决仅能获得其特征空间扰动版本时，重构无向加权图的问题。
• 在随机图模型中，建立从其特征空间可识别图结构的条件。
• 开发一种实用且理论基础坚实的估计程序，从噪声特征空间数据中恢复图的边集（支撑集）。
• 分析反向选择中经验对比函数的行为，区分对真实支撑集的过度估计与不足估计。
• 通过在合成数据和真实世界数据集上的数值实验验证该方法。

提出的方法

• 该方法最小化基于交换子Frobenius范数的代价函数 $ \|\mathsf{A}\widehat{\mathsf{K}} - \widehat{\mathsf{K}}\mathsf{A}\| $，其中 $ \mathsf{A} $ 是估计算子 $ \widehat{\mathsf{K}} $ 的特征空间中的对称矩阵。
• 采用反向选择算法，基于经验对比函数，从真实支撑集的初始超集出发，迭代地移除边。
• 理论分析利用次乘性与扰动界，将 $ \|\mathsf{A}\widehat{\mathsf{K}} - \widehat{\mathsf{K}}\mathsf{A}\| $ 与 $ \|\widehat{\mathsf{K}} - \mathsf{K}\| $ 及真实交换子 $ \|\mathsf{A}\mathsf{K} - \mathsf{K}\mathsf{A}\| $ 关联起来。
• 通过区分情况控制错误支撑集恢复的概率：过度估计（活动集大于真实支撑集）与不足估计（活动集小于真实支撑集）。
• 对于过度估计，检验统计量为 $ \mathcal{O}(1/n) $；对于不足估计，其下界为正的常数，从而可实现对真实支撑集的可靠检测。
• 利用Slutsky引理及设计矩阵伪逆在估计误差下的收敛性，建立了估计量的渐近正态性。

实验结果

研究问题

• RQ1 在何种条件下，无向图的邻接矩阵可从其特征空间中识别？
• RQ2 在Erdős-Rényi随机图模型中，可识别性的阈值是什么？
• RQ3 当估计的支撑集过度或不足估计真实边集时，经验交换子范数的行为如何？
• RQ4 基于交换子范数的反向选择程序能否可靠地从噪声特征空间估计中恢复真实图结构？
• RQ5 所提出的估计量在有限样本与渐近情形下，其支撑集恢复与估计误差的性质如何？

主要发现

• 在Erdős-Rényi模型中，从特征空间识别图结构表现出在 $ N\log N/2 $ 期望边数处的尖锐相变。
• 当估计的支撑集过度估计真实支撑集时，经验交换子范数为 $ \mathcal{O}(1/n) $ 量级。
• 当估计的支撑集不足估计真实支撑集时，经验交换子范数被正的常数下界控制，从而可检测模型误设。
• 在正则化参数 $ \lambda_n $ 的适当条件下，错误支撑集恢复的概率随样本量指数衰减。
• 所提出的反向选择算法在较弱正则性条件下实现了支撑集的一致恢复，理论保证通过集中与扰动界推导得出。
• 在模拟数据与真实数据上的数值实验验证了该方法在从噪声特征空间信息中恢复图结构方面的有效性与鲁棒性。