[论文解读] Semi-supervised Eigenvectors for Large-scale Locally-biased Learning

Toke Jansen Hansen, Michael W. Mahoney|arXiv (Cornell University)|Apr 28, 2013

Face and Expression Recognition参考文献 46被引用 8

一句话总结

本文提出了半监督特征向量——全局图拉普拉斯特征向量的局部偏差版本——通过求解线性方程组来计算，从而实现高效、稳定且可扩展的局部偏差机器学习。该方法通过使用基于扩散的求解器（如Push算法）并结合自适应阈值，在大规模网络中显著提升了与共轭梯度法相比的运行速度。

ABSTRACT

In many applications, one has side information, e.g., labels that are provided in a semi-supervised manner, about a specific target region of a large data set, and one wants to perform machine learning and data analysis tasks "nearby" that prespecified target region. For example, one might be interested in the clustering structure of a data graph near a prespecified "seed set" of nodes, or one might be interested in finding partitions in an image that are near a prespecified "ground truth" set of pixels. Locally-biased problems of this sort are particularly challenging for popular eigenvector-based machine learning and data analysis tools. At root, the reason is that eigenvectors are inherently global quantities, thus limiting the applicability of eigenvector-based methods in situations where one is interested in very local properties of the data. In this paper, we address this issue by providing a methodology to construct semi-supervised eigenvectors of a graph Laplacian, and we illustrate how these locally-biased eigenvectors can be used to perform locally-biased machine learning. These semi-supervised eigenvectors capture successively-orthogonalized directions of maximum variance, conditioned on being well-correlated with an input seed set of nodes that is assumed to be provided in a semi-supervised manner. We show that these semi-supervised eigenvectors can be computed quickly as the solution to a system of linear equations; and we also describe several variants of our basic method that have improved scaling properties. We provide several empirical examples demonstrating how these semi-supervised eigenvectors can be used to perform locally-biased learning; and we discuss the relationship between our results and recent machine learning algorithms that use global eigenvectors of the graph Laplacian.

研究动机与目标

• 解决全局特征向量在捕捉预设区域附近的局部数据结构方面的局限性。
• 开发一种可扩展、稳定且高效的特征向量计算方法，使其偏向于图中给定的种子集合。
• 支持在用户指定区域附近的局部偏差机器学习任务，如聚类、分割和社区检测。
• 克服传统特征向量方法在大规模图中因完整矩阵计算不可行而导致的可扩展性问题。
• 提供一种实用的半监督学习框架，继承全局特征向量的优良特性，但聚焦于局部相关性。

提出的方法

• 该方法将半监督特征向量计算为源自带偏差拉普拉斯矩阵的线性方程组的解，其中偏差通过节点种子集编码。
• 这些特征向量被构造为依次正交，并在保持与输入种子集高度相关的同时最大化方差。
• 线性系统通过迭代的基于扩散的算法（如Push算法）求解，该算法将质量从种子集传播至邻近节点。
• Push算法使用阈值参数ε来控制收敛性和质量分布，使得在较低ε值下可实现更快收敛，尽管计算成本更高。
• 通过剥层过程提取多个半监督特征向量，方法为迭代地去除与先前计算向量的相关性。
• 该方法通过变体形式得到扩展，尤其在大规模网络中，当共轭梯度法变得不可行时，可进一步提升可扩展性。

实验结果

研究问题

• RQ1 我们能否构建出既继承全局特征向量优良特性，又对种子集附近的局部数据结构敏感的特征向量？
• RQ2 在大规模图中，如何高效计算此类局部偏差特征向量，尤其是在完整特征分解不可行的情况下？
• RQ3 算法参数（如ε和α）对计算出的特征向量与种子集之间相关性的影响是什么？
• RQ4 在大规模网络中，基于扩散的求解器（如Push）与共轭梯度法在速度和可扩展性方面相比如何？
• RQ5 该方法能否用于提取多个正交的、局部偏差的特征向量，以支持多层级的局部分析？

主要发现

• 半监督特征向量即使在稀疏或大规模图中，也能有效捕捉种子集附近的局部数据结构，因其与输入标签高度相关。
• 在大规模设置下，Push算法相比共轭梯度法实现了显著的速度提升，绝对运行时间随ε减小而减少，尽管并非单调变化。
• 对于大规模网络（如内存占用超过30GB的网络爬取图），共轭梯度法变得不可行，而基于Push的方法仍保持实用且高效。
• 该方法对ε值高度敏感，较低的ε值（如1e-6）可实现更好的相关性衰减，从而更适用于多特征向量的剥层提取。
• 在高连接度节点处进行种子设置会导致最慢的运行时间，但也能实现最有效的相关性降低，因此这类种子特别适合多向量提取。
• 该方法实现了在大规模图上的可扩展局部偏差学习，证明了其在图像分割和神经连接性分析等实际应用中的可行性。