[论文解读] Semi-Supervised Learning via Sparse Label Propagation

Alexander Jung, Alfred O. Hero+2 more|arXiv (Cornell University)|Dec 5, 2016

Advanced Graph Neural Networks被引用 8

一句话总结

本文提出了一种新颖的半监督学习方法，通过在图结构数据上对标签建模为总变差（total variation）较低的图信号，以实现平滑性约束。通过将标签预测建模为非光滑凸优化问题，并利用预处理的原始-对偶方法求解，该方法实现了在大规模图上的可扩展、稀疏的标签传播，且在满足网络零空间性质（network nullspace property）条件下，具备标签恢复准确性的理论保证。

ABSTRACT

This work proposes a novel method for semi-supervised learning from partially labeled massive network-structured datasets, i.e., big data over networks. We model the underlying hypothesis, which relates data points to labels, as a graph signal, defined over some graph (network) structure intrinsic to the dataset. Following the key principle of supervised learning, i.e., similar inputs yield similar outputs, we require the graph signals induced by labels to have small total variation. Accordingly, we formulate the problem of learning the labels of data points as a non-smooth convex optimization problem which amounts to balancing between the empirical loss, i.e., the discrepancy with some partially available label information, and the smoothness quantified by the total variation of the learned graph signal. We solve this optimization problem by appealing to a recently proposed preconditioned variant of the popular primal-dual method by Pock and Chambolle, which results in a sparse label propagation algorithm. This learning algorithm allows for a highly scalable implementation as message passing over the underlying data graph. By applying concepts of compressed sensing to the learning problem, we are also able to provide a transparent sufficient condition on the underlying network structure such that accurate learning of the labels is possible. We also present an implementation of the message passing formulation allows for a highly scalable implementation in big data frameworks.

研究动机与目标

• 解决在大规模、网络结构化数据集上仅有少量标注数据时的半监督学习挑战。
• 将标签分配建模为总变差较低的图信号，以强制实现平滑性和聚类结构。
• 开发一种利用图拓扑结构的可扩展、分布式消息传递算法，用于标签传播。
• 提供在压缩感知原理基础上，实现准确标签恢复的理论条件。
• 通过利用稀疏性和凸优化，确保在大数据框架中的鲁棒性和可扩展性。

提出的方法

• 将标签预测问题建模为一个非光滑凸优化问题，平衡经验损失与图信号的总变差。
• 采用Pock和Chambolle提出的预处理原始-对偶方法变体，高效求解该优化问题。
• 基于数据图上的消息传递，推导出一种稀疏标签传播算法，支持分布式和可扩展计算。
• 引入网络零空间性质（NNSP）作为精确恢复聚类图信号的充分条件。
• 应用压缩感知概念，推导出确保稳定且准确标签恢复的图和采样集的拓扑条件。
• 利用基于边的总变差（TV）作为平滑性度量，相比传统的拉普拉斯二次型，能更好地捕捉聚类边界。

实验结果

研究问题

• RQ1 在半监督学习中，对图信号进行总变差最小化是否能比基于拉普拉斯的传统方法带来更准确的标签传播？
• RQ2 图结构和采样集的何种理论条件可确保在稀疏标签传播中实现标签的精确恢复？
• RQ3 如何在大规模网络上高效求解标签预测的优化问题？
• RQ4 所提出的方法在何种方式下利用稀疏性和网络拓扑，实现分布式、基于消息传递的推理？
• RQ5 能否使用压缩感知原理，推导出半监督学习中成功标签恢复的透明且可验证的条件？

主要发现

• 当网络满足零空间性质（NNSP）时，所提方法可实现准确的标签恢复，若采样集能解析图的给定聚类划分，则该条件可被保证。
• 理论分析表明，若采样集在足够多的位置与每个聚类边界相交，则恢复误差被有界于真实信号非支撑部分总变差的倍数之内。
• 该算法通过在数据图上的消息传递，实现了高度可扩展的分布式实现，适用于大数据框架。
• 使用总变差作为平滑性度量，使该方法能更好地建模具有社区间显著跃迁的聚类信号，优于基于拉普拉斯的方法。
• 预处理的原始-对偶算法确保了收敛性，并在大规模图上实现高效计算。
• 该方法基于压缩感知理论，提供了基于图聚类结构和采样模式的透明充分条件，用于实现准确学习。