[论文解读] Supervised Linear Regression for Graph Learning from Graph Signals

Arun Venkitaraman, Hermina Petric Maretić+2 more|arXiv (Cornell University)|Nov 5, 2018

Advanced Graph Neural Networks参考文献 15被引用 4

一句话总结

本文提出了一种监督线性回归框架，用于从图信号中学习图结构，其中边权重作为节点信号值的函数，通过基于图拉普拉斯矩阵的正则化进行凸优化来预测。该方法在噪声或异常值污染的数据下，通过学习到的回归系数自适应加权信号，优于无监督图学习方法。

ABSTRACT

We propose a supervised learning approach for predicting an underlying graph from a set of graph signals. Our approach is based on linear regression. In the linear regression model, we predict edge-weights of a graph as the output, given a set of signal values on nodes of the graph as the input. We solve for the optimal regression coefficients using a relevant optimization problem that is convex and uses a graph-Laplacian based regularization. The regularization helps to promote a specific graph spectral profile of the graph signals. Simulation experiments demonstrate that our approach predicts well even in presence of outliers in input data.

研究动机与目标

• 为解决从图信号中推断图结构时缺乏监督学习方法的问题。
• 开发一种利用标注训练数据（信号及其对应图）来预测潜在图结构的方法。
• 通过回归实现输入信号的差异化加权，提升图学习在噪声或非平滑信号下的鲁棒性。
• 制定一个凸优化问题，以在所学图信号中促进期望的谱特性。
• 在数据有限和异常值比例高的挑战性条件下，展示优于无监督图学习方法的性能。

提出的方法

• 使用回归框架将邻接矩阵的边权重建模为输入图信号值的线性函数。
• 制定一个凸优化问题，以学习最小化训练数据预测误差的回归系数。
• 引入基于图拉普拉斯矩阵的正则化项，以拉普拉斯矩阵的二阶多项式形式表达，以控制预测信号的谱轮廓。
• 利用正则化促进图信号的平滑性，并隐式编码关于图结构的先验知识。
• 对估计的邻接矩阵应用阈值处理，以在最终图中实现稀疏性和连通性。
• 通过交叉验证优化超参数（α 和 β），以平衡正则化与数据保真度。

实验结果

研究问题

• RQ1 当训练数据包含噪声或非平滑信号时，监督学习方法是否能改善图结构推断？
• RQ2 与传统无监督图学习相比，所提出的回归模型在输入图信号存在异常值时如何处理？
• RQ3 学习到的回归系数在多大程度上反映了输入信号的谱特性？
• RQ4 该方法在不同信噪比和有限训练数据规模下是否保持一致的性能？
• RQ5 基于图拉普拉斯的正则化如何影响预测图的质量和谱特性？

主要发现

• 当25%的输入信号为异常值时，所提方法的归一化均方误差（NMSE）显著低于无监督图学习方法（Kalofolias 等人），尤其在小规模训练集下表现更优。
• 在10%异常值情况下，该方法在小M（信号数量）时优于基线方法，且随着M增大，性能趋近于基线。
• 回归系数能清晰区分平滑信号与高频异常值，表明实现了有效的信号特异性加权。
• 预测图的F1分数随M增加而提升，且与基线方法相比保持相当，表明结构质量一致。
• 该方法在不同图类型（如Erdős–Rényi图）下均保持稳定性能，表明对底层网络拓扑具有鲁棒性。
• 对图拉普拉斯矩阵使用多项式正则化，可有效控制所学图信号的谱轮廓。