[论文解读] Relational Similarity Machines

Ryan A. Rossi, Rong Zhou+1 more|arXiv (Cornell University)|Aug 2, 2016

Advanced Graph Neural Networks参考文献 29被引用 7

一句话总结

本文提出关系相似性机器（RSM），一种用于关系数据的监督与半监督学习的快速、可扩展且灵活的框架。RSM 利用基于相似性的学习方法，在多类别、标签稀疏且自相关性低的网络中实现高精度，通过高效且可并行化的更新支持实时推理与交互式学习。

ABSTRACT

This paper proposes Relational Similarity Machines (RSM): a fast, accurate, and flexible relational learning framework for supervised and semi-supervised learning tasks. Despite the importance of relational learning, most existing methods are hard to adapt to different settings, due to issues with efficiency, scalability, accuracy, and flexibility for handling a wide variety of classification problems, data, constraints, and tasks. For instance, many existing methods perform poorly for multi-class classification problems, graphs that are sparsely labeled or network data with low relational autocorrelation. In contrast, the proposed relational learning framework is designed to be (i) fast for learning and inference at real-time interactive rates, and (ii) flexible for a variety of learning settings (multi-class problems), constraints (few labeled instances), and application domains. The experiments demonstrate the effectiveness of RSM for a variety of tasks and data.

研究动机与目标

• 解决现有关系机器学习方法在处理低关系自相关性、标签稀疏性以及噪声或属性化网络时的局限性。
• 开发一个统一且灵活的框架，支持在多样化的关系数据类型和约束下进行监督与半监督学习。
• 通过支持快速、局部化的更新与流式或动态图上的高效推理，实现实时、交互式的机器学习。
• 确保在标签实例极少、类别分布偏斜以及关系结构水平多变的数据中具备鲁棒性。
• 设计模块化系统，使相似性函数、归一化方案和集体推理策略等组件可互换且可调参。

提出的方法

• RSM 基于最大化节点间相似性的原则，使用可学习或用户可调的相似性函数，实现图中标签信息的有效传播。
• 通过在特征和图结构上计算相似性得分，框架支持节点分类与链接分类，建模关系依赖。
• 学习与推理的时间复杂度与非零特征数呈线性关系，每测试实例的时间复杂度为 O(|Ω_X|)，从而实现实时性能。
• RSM 通过迭代式地利用基于相似性的标签传播方法实现集体推理，空间复杂度为 O(nk)，其中 n 为测试节点数，k 为类别数。
• 系统高度可并行化，在共享内存与分布式内存架构上均实现近乎线性的加速，支持无锁、可扩展的动态图更新。
• 系统集成交互式可视化与分析组件，允许用户实时调整超参数（如核类型、归一化方式）并重新配置模型。

实验结果

研究问题

• RQ1 关系学习框架是否能在自相关性较低或适中的网络中保持高准确率与高效率，而传统方法在此类场景下会失效？
• RQ2 如何设计一个统一框架，以支持在多样化数据类型（包括属性化、异构性及流式图）中同时实现监督与半监督学习？
• RQ3 基于相似性的学习在多大规模上可实现可扩展性与并行化，以支持大规模网络上的实时交互式机器学习？
• RQ4 该框架是否能在极端数据稀疏性（如标签密度低于 0.01）下保持性能而不退化？
• RQ5 系统通过局部、增量式更新，能否有效适应用户交互，而无需进行完整重训练？

主要发现

• 在时间与空间约束相当的情况下，RSM 在低自相关性与标签稀疏设置下，其预测准确率显著优于现有方法。
• 该框架支持每测试实例 O(|Ω_X|) 时间复杂度的实时推理，适用于流式与交互式应用。
• 在并行架构上，RSM 实现了近乎线性的加速，可在共享内存与分布式内存系统中高效扩展。
• 即使在标签密度低于 0.01 且类别分布偏斜的情况下，系统仍保持高性能，优于标准独立同分布（iid）与关系方法。
• 在节点或链接修改后进行局部更新，可实现快速、精确或近似的重新计算，从而实现无缝的实时探索与交互。
• 通过调整超参数，RSM 可泛化至广泛的分类器类型——从非关系的独立同分布模型到拓扑感知与混合模型。