[论文解读] Semi-Supervised Learning with Heterophily

Wolfgang Gatterbauer|arXiv (Cornell University)|Dec 9, 2014

Bayesian Modeling and Causal Inference参考文献 22被引用 8

一句话总结

本文提出半监督学习异质性（SSLH），一种线性推理框架，通过使用对称的双随机兼容性矩阵 H 建模类别兼容性，将基于图的标签传播方法推广至同时处理同质性与异质性。该方法通过简单优化从部分标记数据中学习 H，实现无需事先知晓兼容性强弱的快速、准确节点分类，在准确率上优于 LinBP，同时保持相近的运行速度。

ABSTRACT

We derive a family of linear inference algorithms that generalize existing graph-based label propagation algorithms by allowing them to propagate generalized assumptions about "attraction" or "compatibility" between classes of neighboring nodes (in particular those that involve heterophily between nodes where "opposites attract"). We thus call this formulation Semi-Supervised Learning with Heterophily (SSLH) and show how it generalizes and improves upon a recently proposed approach called Linearized Belief Propagation (LinBP). Importantly, our framework allows us to reduce the problem of estimating the relative compatibility between nodes from partially labeled graph to a simple optimization problem. The result is a very fast algorithm that -- despite its simplicity -- is surprisingly effective: we can classify unlabeled nodes within the same graph in the same time as LinBP but with a superior accuracy and despite our algorithm not knowing the compatibilities.

研究动机与目标

• 为解决现有半监督学习方法假设同质性（物以类聚）的局限性，该假设在现实世界图中不成立，而异质性（相反相吸）更为常见。
• 将标签传播方法推广至处理节点类别之间的任意兼容关系，包括相似性与相异性。
• 开发一种计算高效的框架，联合学习兼容性矩阵 H 并从部分标记图中预测未标记节点的标签。
• 证明该框架在无需事先知晓兼容性强弱的情况下，分类准确率仍优于 LinBP。

提出的方法

• 将节点标签推理建模为使用对称的双随机兼容性矩阵 H 的线性变换，H 编码节点类别之间的相对兼容性。
• 利用行随机矩阵的调制特性：使用 H 对标签分布向量 x 进行变换可保持其行和不变，从而实现标签信息的稳定线性传播。
• 以广义兼容性模型替代标准同质性假设，其中 H 同时捕捉类别间的吸引（异质性）与排斥（同质混合）。
• 将 H 的估计问题简化为一个凸优化问题，最小化预测标签与已知标签在标记节点上的差异。
• 将该框架应用于现有的基于图的 SSL 方法（如局部与全局一致性 LGC 和调和函数 HF），扩展其处理异质性的能力。
• 采用合成图生成器构建具有预设兼容性结构的基准图，实现对方法稳健性与准确性的受控评估。

实验结果

研究问题

• RQ1 线性推理框架能否将现有基于图的 SSL 方法推广至同时处理节点分类中的同质性与异质性？
• RQ2 如何从部分标记数据中高效学习兼容性矩阵 H（其编码节点类别之间的相对亲和力）？
• RQ3 所提出的方法是否在保持相近计算效率的同时，实现优于 LinBP 的分类准确率？
• RQ4 当真实兼容性结构未知且必须从有限标签中推断时，该框架在多大程度上仍保持鲁棒性？
• RQ5 不同兼容性模式（如强异质性、混合同质/异质结构）对方法性能的影响如何？

主要发现

• 所提出的 SSLH 框架在合成图与真实世界图上均实现了高于 LinBP 的分类准确率，且无需事先知晓兼容性强弱。
• 该方法通过一个简单且凸的优化问题学习兼容性矩阵 H，实现高效且可扩展的推理。
• 该框架通过用灵活的 H 矩阵替代标准同质性假设，将现有 LGC 与 HF 方法推广至处理任意兼容关系，包括异质性。
• 行随机矩阵的调制特性确保在复杂兼容性模式下仍能实现稳定的标签传播，同时保持标签分布和的不变性。
• 实验表明，SSLH 在多个数据集与兼容性结构下（包括强异质性情形）均优于 LinBP 的准确率。
• 合成图生成器成功构建了具有预设兼容性矩阵与期望度分布的图，实现了对方法稳健性与准确性的受控评估。