[论文解读] Rates of Convergence of Spectral Methods for Graphon Estimation

Jiaming Xu|arXiv (Cornell University)|Sep 10, 2017

Complex Network Analysis Techniques被引用 16

一句话总结

本文分析了在稀疏网络中估计图函数时的通用奇异值阈值化（USVT）算法，表明其均方误差收敛速度为 $(n\rho)^{-2\alpha/(2\alpha+d)}$，其中图函数具有 Hölder 或 Sobolev 光滑性，光滑指数为 $\alpha$，潜在维度为 $d$。当 $\alpha$ 增大时，该速率趋近于极小极大最优速率 $\log(n\rho)/(n\rho)$，尤其在 $d=1$ 时表现更优，并且对于解析图函数，误差速率可达 $\log^d(n\rho)/(n\rho)$。

ABSTRACT

This paper studies the problem of estimating the grahpon model - the underlying generating mechanism of a network. Graphon estimation arises in many applications such as predicting missing links in networks and learning user preferences in recommender systems. The graphon model deals with a random graph of $n$ vertices such that each pair of two vertices $i$ and $j$ are connected independently with probability $ρ imes f(x_i,x_j)$, where $x_i$ is the unknown $d$-dimensional label of vertex $i$, $f$ is an unknown symmetric function, and $ρ$ is a scaling parameter characterizing the graph sparsity. Recent studies have identified the minimax error rate of estimating the graphon from a single realization of the random graph. However, there exists a wide gap between the known error rates of computationally efficient estimation procedures and the minimax optimal error rate. Here we analyze a spectral method, namely universal singular value thresholding (USVT) algorithm, in the relatively sparse regime with the average vertex degree $nρ=Ω(\log n)$. When $f$ belongs to Hölder or Sobolev space with smoothness index $α$, we show the error rate of USVT is at most $(nρ)^{ -2 α/ (2α+d)}$, approaching the minimax optimal error rate $\log (nρ)/(nρ)$ for $d=1$ as $α$ increases. Furthermore, when $f$ is analytic, we show the error rate of USVT is at most $\log^d (nρ)/(nρ)$. In the special case of stochastic block model with $k$ blocks, the error rate of USVT is at most $k/(nρ)$, which is larger than the minimax optimal error rate by at most a multiplicative factor $k/\log k$. This coincides with the computational gap observed for community detection. A key step of our analysis is to derive the eigenvalue decaying rate of the edge probability matrix using piecewise polynomial approximations of the graphon function $f$.

研究动机与目标

• 弥合计算高效图函数估计方法与极小极大最优误差率之间的差距。
• 分析在 $n\rho = \Omega(\log n)$ 的稀疏区域中，通用奇异值阈值化（USVT）算法的收敛速率。
• 刻画当图函数 $f$ 属于具有光滑指数 $\alpha$ 的 Hölder 或 Sobolev 空间时，USVT 的误差速率。
• 研究在具有 $k$ 个块的随机块模型中 USVT 的性能，并与极小极大最优速率进行比较。
• 利用图函数 $f$ 的分段多项式逼近，推导边概率矩阵的特征值衰减速率。

提出的方法

• 将 USVT 算法应用于从单个观测邻接矩阵 $A$（含部分边观测）中估计边概率矩阵 $M$。
• 通过观测邻接矩阵的谱分解，利用奇异值阈值化方法估计 $M$ 的低秩结构。
• 采用图函数 $f$ 的分段多项式逼近，推导底层算子 $\mathcal{T}$ 的特征值衰减速率。
• 利用特征值衰减和集中不等式，建立估计误差的期望平方 Frobenius 范数 $\mathbb{E}[\|M - \widehat{M}\|_F^2]$ 的界。
• 将特征值衰减的理论结果应用于不同光滑性假设下的 USVT 收敛速率推导。
• 通过在平移不变和 Sobolev 图函数上的模拟验证理论发现，经 $\log(n\rho)$ 重标度后，误差速率与预测结果一致。

实验结果

研究问题

• RQ1 在 $n\rho = \Omega(\log n)$ 的稀疏区域中，USVT 算法在图函数估计中的收敛速率是什么？
• RQ2 当 $f$ 属于 Hölder 或 Sobolev 空间时，USVT 的误差速率与极小极大最优速率有多接近？
• RQ3 在具有 $k$ 个块的随机块模型中，USVT 与极小极大最优速率之间存在多大的性能差距？
• RQ4 图函数 $f$ 的光滑性如何影响 USVT 的收敛速率？
• RQ5 能否利用 $f$ 的分段多项式逼近，对边概率矩阵的特征值衰减速率进行紧密界定？

主要发现

• 对于具有光滑指数 $\alpha$ 和潜在维度 $d$ 的 Hölder 或 Sobolev 空间中的图函数，USVT 的误差速率最多为 $(n\rho)^{-2\alpha/(2\alpha+d)}$。
• 当 $d=1$ 时，该速率随 $\alpha \to \infty$ 趋近于极小极大最优速率 $\log(n\rho)/(n\rho)$，表明对光滑函数具有近似最优性。
• 对于解析图函数，USVT 的误差速率最多为 $\log^d(n\rho)/(n\rho)$，在光滑区域中接近极小极大速率。
• 在具有 $k$ 个块的随机块模型中，USVT 的误差速率最多为 $k/(n\rho)$，与极小极大最优速率相比存在 $k/\log k$ 的乘法差距。
• 模拟结果验证了理论速率：当以 $\log(n\rho)$ 为横轴在双对数坐标下绘制时，MSE 呈近似斜率为 $3/4$ 的线性下降，与 $\alpha=1, d=1$ 时预测的 $(n\rho)^{-3/4}$ 速率一致。
• 通过分段多项式逼近，对算子 $\mathcal{T}$ 的特征值衰减速率实现了紧密界定，从而支持了 USVT 收敛速率的推导。