[论文解读] RobustGCNs: Robust Norm Graph Convolutional Networks in the Presence of Node Missing Data and Large Noises

Bo Jiang, Ziyan Zhang|arXiv (Cornell University)|Mar 23, 2020

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出了一种名为RobustGCNs的新图卷积网络架构，将基于鲁棒范数的特征学习整合到图卷积中，以处理节点属性缺失数据和大噪声。通过将图卷积重新解释为图上的数据重建过程，并在传播函数中应用鲁棒范数（如L1或Huber），该方法提高了对异常值和缺失特征的鲁棒性，在噪声基准数据集上实现了卓越性能。

ABSTRACT

Graph Convolutional Networks (GCNs) have been widely studied for attribute graph data representation and learning. In many applications, graph node attribute/feature may contain various kinds of noises, such as gross corruption, outliers and missing values. Existing graph convolutions (GCs) generally focus on feature propagation on structured graph which i) fail to address the graph data with missing values and ii) often perform susceptibility to the large feature errors/noises and outliers. To address this issue, in this paper, we propose to incorporate robust norm feature learning mechanism into graph convolution and present Robust Graph Convolutions (RGCs) for graph data in the presence of feature noises and missing values. Our RGCs is proposed based on the interpretation of GCs from a propagation function aspect of 'data reconstruction on graph'. Based on it, we then derive our RGCs by exploiting robust norm based propagation functions into GCs. Finally, we incorporate the derived RGCs into an end-to-end network architecture and propose a kind of RobustGCNs for graph data learning. Experimental results on several noisy datasets demonstrate the effectiveness and robustness of the proposed RobustGCNs.

研究动机与目标

• 解决现有图卷积在处理节点属性缺失方面的局限性。
• 提升GCN在真实世界数据缺陷（如严重损坏和异常值）下的鲁棒性。
• 开发一种对噪声和不完整节点特征具有鲁棒性的新型图卷积机制。
• 将鲁棒卷积整合到端到端深度学习框架中，用于图表示学习。
• 在现实世界中的噪声图数据集上验证所提方法的有效性。

提出的方法

• 将图卷积重新解释为图结构上的数据重建过程，将特征传播建模为最小化重建误差。
• 用基于鲁棒范数（如L1或Huber）的损失函数替代标准的L2传播，以降低对异常值和噪声的敏感性。
• 通过在GCN框架中整合基于鲁棒范数的传播函数，设计出鲁棒图卷积（RGCs）。
• 将RGC层表述为一个可微模块，在消息传递过程中最小化节点特征上的鲁棒目标函数。
• 将RGCs集成到深度神经网络架构中，实现在具有噪声特征的图结构数据上的端到端训练。
• 使用标准反向传播优化整个网络，鲁棒范数在输入噪声条件下稳定了梯度。

实验结果

研究问题

• RQ1 基于鲁棒范数的特征学习是否能提升图卷积在节点属性缺失情况下的鲁棒性？
• RQ2 当暴露于大特征噪声和异常值时，所提出的RGC机制与标准GCN相比表现如何？
• RQ3 鲁棒范数公式在噪声图数据集上的模型泛化能力方面提升了多少？
• RQ4 在不同缺失数据水平和噪声强度下，所提方法是否保持性能？
• RQ5 基于鲁棒范数的传播函数能否有效集成到端到端GCN框架中？

主要发现

• 所提出的RobustGCNs在具有节点特征缺失和大噪声的数据集上显著优于标准GCNs。
• RobustGCNs在节点属性存在异常值和严重损坏时表现出更强的鲁棒性，在极端噪声条件下仍能保持高性能。
• 在传播函数中使用鲁棒范数（如L1或Huber）可降低对输入特征中大误差的敏感性。
• 实验结果表明，在多个噪声基准数据集上均实现了稳定的性能提升，验证了鲁棒范数方法的有效性。
• RobustGCNs的端到端训练使即使在输入特征被破坏或不完整的情况下也能实现稳定优化。