[论文解读] Uncertainty-aware Attention Graph Neural Network for Defending Adversarial Attacks

Boyuan Feng, Yuke Wang+2 more|arXiv (Cornell University)|Sep 22, 2020

Advanced Graph Neural Networks参考文献 32被引用 5

一句话总结

本文提出UAG，一种新型的不确定性感知图神经网络防御方法，通过贝叶斯推断和注意力机制显式建模模型不确定性和数据不确定性。通过在消息传递过程中动态降低高不确定性节点的影响，UAG在各种对抗性攻击设置下显著优于SOTA防御方法（如RGCN），尤其在高攻击比例场景下表现突出。

ABSTRACT

With the increasing popularity of graph-based learning, graph neural networks (GNNs) emerge as the essential tool for gaining insights from graphs. However, unlike the conventional CNNs that have been extensively explored and exhaustively tested, people are still worrying about the GNNs' robustness under the critical settings, such as financial services. The main reason is that existing GNNs usually serve as a black-box in predicting and do not provide the uncertainty on the predictions. On the other side, the recent advancement of Bayesian deep learning on CNNs has demonstrated its success of quantifying and explaining such uncertainties to fortify CNN models. Motivated by these observations, we propose UAG, the first systematic solution to defend adversarial attacks on GNNs through identifying and exploiting hierarchical uncertainties in GNNs. UAG develops a Bayesian Uncertainty Technique (BUT) to explicitly capture uncertainties in GNNs and further employs an Uncertainty-aware Attention Technique (UAT) to defend adversarial attacks on GNNs. Intensive experiments show that our proposed defense approach outperforms the state-of-the-art solutions by a significant margin.

研究动机与目标

• 解决图神经网络中缺乏不确定性量化的问题，以提升其在金融、医疗等安全关键应用中的鲁棒性。
• 识别并量化图神经网络中两种关键不确定性来源：由参数分布引起的模型不确定性，以及由噪声或对抗性特征引起的数据不确定性。
• 开发一种利用不确定性估计来减少对抗性影响在图消息传递中传播的防御机制。
• 通过将不确定性感知注意力集成到图神经网络架构中，提升对拓扑结构和特征扰动攻击的鲁棒性。
• 在高攻击比例和复杂攻击（如DICE和Mettack）场景下，证明UAG在性能上优于现有防御方法（如RGCN）

提出的方法

• 提出贝叶斯不确定性技术（BUT），利用变分推断同时建模模型和数据不确定性，通过GNN参数和特征的后验分布对每个节点的不确定性进行估计。
• 引入不确定性感知注意力技术（UAT），根据节点级不确定性调节注意力权重，降低高不确定性节点在聚合过程中的影响。
• 设计双损失机制：L1损失用于鼓励标签节点中数据不确定性的建模以捕捉节点多样性，L2损失则通过自监督学习捕捉未标记节点中的数据不确定性。
• 提出不确定性感知消息传递机制，其中注意力权重按不确定性倒数进行缩放，以最小化对抗性信号的传播。
• 采用重参数化技巧，实现不确定性感知图神经网络的端到端可微训练，支持可微的不确定性估计。
• 将不确定性估计集成到标准图神经网络（如GAT、GCN）中，无需架构重构，实现即插即用的鲁棒性增强。

实验结果

研究问题

• RQ1 显式建模模型和数据不确定性是否能提升图神经网络对对抗性攻击的鲁棒性？
• RQ2 不确定性感知注意力如何影响图神经网络中对抗性扰动的传播？
• RQ3 在不确定性估计中结合标签和未标记节点的多样性是否能提升防御性能？
• RQ4 控制不确定性敏感度的超参数如何影响模型在攻击下的准确率？
• RQ5 UAG能否在不同攻击类型（如随机攻击、DICE、Mettack）和数据集（如Cora、Citeseer、PubMed）上保持对SOTA方法的一致性优势？

主要发现

• UAG-Both（同时结合模型和数据不确定性）在所有数据集和攻击比例下均持续优于UAG-Model和UAG-Data，证明了分层不确定性建模的有效性。
• 在Cora和Citeseer数据集上，UAG在所有攻击比例下均显著优于RGCN，尤其在30%攻击比例时准确率优势超过15个百分点。
• 在DICE攻击下（通过增加社区间连接以混淆模型），UAG保持高准确率，而GAT和RGCN则出现显著性能下降，表明其对结构扰动具有强鲁棒性。
• 消融实验表明，双损失设计（L1 + L2）通过综合利用标签和未标记数据提升了不确定性估计质量，从而优于单一损失变体。
• 超参数分析显示，当αₜ = 15且βₜ = 2.5（τ ∈ {M, D}）时，鲁棒性与信息流之间达到最优平衡；提高αₜ或降低βₜ可增强防御，但会带来过度约束的代价。
• 注意力权重可视化显示，在高随机攻击比例下，UAG能自适应地将高不确定性节点的注意力权重降低至接近零，有效抑制对抗性信号传播。