[论文解读] On the Supermodularity of Active Graph-based Semi-supervised Learning with Stieltjes Matrix Regularization

Pin‐Yu Chen, Dennis Wei|arXiv (Cornell University)|Apr 9, 2018

Advanced Graph Neural Networks参考文献 14被引用 3

一句话总结

该论文在Stieltjes矩阵正则化下证明了基于活动图的半监督学习（AG-SSL）目标函数的超模性，从而支持一种具有理论性能保证的贪心算法。该方法在真实网络上仅使用2个标记节点即可实现完美的社区检测，优于在有限标注预算下现有的图信号采样方法。

ABSTRACT

Active graph-based semi-supervised learning (AG-SSL) aims to select a small set of labeled examples and utilize their graph-based relation to other unlabeled examples to aid in machine learning tasks. It is also closely related to the sampling theory in graph signal processing. In this paper, we revisit the original formulation of graph-based SSL and prove the supermodularity of an AG-SSL objective function under a broad class of regularization functions parameterized by Stieltjes matrices. Under this setting, supermodularity yields a novel greedy label sampling algorithm with guaranteed performance relative to the optimal sampling set. Compared to three state-of-the-art graph signal sampling and recovery methods on two real-life community detection datasets, the proposed AG-SSL method attains superior classification accuracy given limited sample budgets.

研究动机与目标

• 在包括未归一化和归一化图拉普拉斯矩阵在内的广泛Stieltjes矩阵正则化器类别下，建立AG-SSL目标函数的超模性。
• 开发一种标签采样贪心算法，相对于最优集合具有性能保证，避免对所有可能子集进行穷举搜索。
• 在最小标注努力下提升半监督学习中的分类准确率，特别是在社区检测任务中。
• 在受限样本预算下，与现有图信号采样和恢复方法相比，展示出优越性能。

提出的方法

• 将基于图的SSL表述为信号恢复问题，对标签使用多变量高斯先验，其精度矩阵源自Stieltjes矩阵。
• 证明当正则化矩阵为半正定且非对角线元素非正时（如图拉普拉斯矩阵），目标函数具有超模性。
• 提出一种贪心算法，通过迭代选择节点以最小化期望预测损失，利用超模性实现有界性能。
• 利用图傅里叶变换和谱性质定义信号模型，无需假设信号为带限。
• 基于标签信号后验方差的期望构建损失函数，并通过节点选择进行优化。
• 采用基于岭回归的预测器，结合Stieltjes矩阵正则化，利用标签的噪声观测。

实验结果

研究问题

• RQ1 在Stieltjes矩阵正则化下，AG-SSL目标函数是否表现出超模性？
• RQ2 在该超模性下，贪心算法能否实现对最优采样集合的常数因子近似？
• RQ3 在有限标注预算下，与现有图信号采样方法相比，所提方法在分类准确率方面表现如何？
• RQ4 使用不同正则化矩阵（如L与LN）对采样性能和准确率有何影响？

主要发现

• 所提AG-SSL方法在Karate和Dolphin网络上仅使用2个标记节点，即在社区检测中实现100%分类准确率。
• 在有限样本预算下，该方法在损失和准确率方面均优于随机采样、图谱代理（GSP）、图移位算子（GSO）以及Chamon-Ribeiro方法（CRM）。
• 使用归一化拉普拉斯矩阵（LN）而非未归一化拉普拉斯矩阵（L）可提升GSP和CRM的性能，表明图傅里叶基对采样质量具有显著影响。
• 所提方法在节点选择上与GSP存在显著重叠，表明其与基于谱的采样启发式方法具有一致性；而GSO和CRM则表现出更不同的采样模式。
• 超模性带来的理论保证确保了贪心算法的性能被限制在最优采样集合的常数因子内，尽管完整搜索为NP难问题。