[论文解读] Robust Graph Embedding with Noisy Link Weights

Akifumi Okuno, Hidetoshi Shimodaira|arXiv (Cornell University)|Feb 22, 2019

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出β-图嵌入（β-GE），一种鲁棒的图表示学习方法，通过引入经验矩β-评分（EMBS）作为损失函数，减轻了噪声链接权重的影响。该方法通过小批量随机算法实现计算高效，并在理论上证明可局部最小化EMBS，在噪声环境下优于基于似然的标准图嵌入方法，同时保持可处理性和分布灵活性。

ABSTRACT

We propose $β$-graph embedding for robustly learning feature vectors from data vectors and noisy link weights. A newly introduced empirical moment $β$-score reduces the influence of contamination and robustly measures the difference between the underlying correct expected weights of links and the specified generative model. The proposed method is computationally tractable; we employ a minibatch-based efficient stochastic algorithm and prove that this algorithm locally minimizes the empirical moment $β$-score. We conduct numerical experiments on synthetic and real-world datasets.

研究动机与目标

• 解决现实图中因链接权重噪声导致图嵌入性能下降的问题。
• 开发一种理论上鲁棒的损失函数，对链接权重中的异常值和污染不敏感。
• 在不假设链接权重生成分布的前提下，确保计算可处理性。
• 通过矩β-评分扩展现有基于似然的图嵌入方法，增强其鲁棒性。
• 提供一种随机优化框架，可在标准假设下局部收敛至最优解。

提出的方法

• 提出经验矩β-评分（EMBS），一种鲁棒损失函数，用于衡量期望链接权重的差异，而非完整概率分布。
• 将EMBS用作负对数似然的替代品，当β → 0时退化为负对数似然，从而与现有图嵌入框架保持兼容。
• 采用基于小批量的随机算法高效优化EMBS，实现对大规模图的可扩展性。
• 通过采样链接对的期望推导EMBS的梯度，实现具有理论收敛保证的随机更新。
• 引入一种混合目标函数，结合观测到的（正样本）和未观测到的（负样本）链接对，其权重由β相关项决定。
• 在较弱的正则性和凸性条件下，建立随机算法收敛至局部极小值的理论证明。

实验结果

研究问题

• RQ1 能否设计一种鲁棒损失函数，以最小化噪声链接权重对图嵌入的影响？
• RQ2 在污染条件下，能否构建一种计算高效且无需分布假设的替代方法，以替代基于似然的图嵌入？
• RQ3 在标准假设下，基于EMBS的优化是否能收敛至有意义的局部解？
• RQ4 在存在噪声链接权重的情况下，β-GE方法相较于标准基于似然的GE方法表现如何？
• RQ5 当链接权重被污染时，该方法是否仍能保持图中的潜在聚类结构？

主要发现

• 在链接权重被污染的合成图上，β-GE显著提升了聚类性能，尤其在β = 1.0时，即使存在噪声也能恢复真实的聚类结构。
• 通过β-评分机制降低极端或受损链接权重的影响，该方法对异常值表现出鲁棒性。
• 小批量随机算法在标准光滑性和强凸性假设下，可局部收敛至EMBS的极小值，如理论证明所示。
• EMBS在计算上是可处理的，且无需对链接权重做分布假设，这与传统基于似然的方法形成对比。
• 当β → 0时，EMBS退化为负对数似然，确保在无噪声情况下与现有GE方法保持一致性。
• 在真实数据集上的实证结果表明，β-GE在噪声条件下仍能保持或提升性能，展现出实际鲁棒性。