[论文解读] Randomized Message-Interception Smoothing: Gray-box Certificates for Graph Neural Networks

Yan Scholten, Jan Schuchardt+3 more|arXiv (Cornell University)|Jan 5, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种灰盒随机消息拦截平滑方法，用于图神经网络（GNNs），利用消息传递架构，为对抗者控制整个节点的情况提供更强的鲁棒性认证。通过随机删除边或消融节点特征，该方法通过多数投票计算平滑分类器，显著提升了可认证鲁棒性——尤其在远距离对抗性节点上表现更优——同时比先前方法更高效。

ABSTRACT

Randomized smoothing is one of the most promising frameworks for certifying the adversarial robustness of machine learning models, including Graph Neural Networks (GNNs). Yet, existing randomized smoothing certificates for GNNs are overly pessimistic since they treat the model as a black box, ignoring the underlying architecture. To remedy this, we propose novel gray-box certificates that exploit the message-passing principle of GNNs: We randomly intercept messages and carefully analyze the probability that messages from adversarially controlled nodes reach their target nodes. Compared to existing certificates, we certify robustness to much stronger adversaries that control entire nodes in the graph and can arbitrarily manipulate node features. Our certificates provide stronger guarantees for attacks at larger distances, as messages from farther-away nodes are more likely to get intercepted. We demonstrate the effectiveness of our method on various models and datasets. Since our gray-box certificates consider the underlying graph structure, we can significantly improve certifiable robustness by applying graph sparsification.

研究动机与目标

• 解决黑盒随机平滑在GNN中应用时的局限性，后者未考虑消息传递架构，导致鲁棒性认证过于保守。
• 开发一种灰盒认证框架，利用GNN的结构特性，提供更紧密、更真实的鲁棒性保障。
• 实现对强敌手的认证，该敌手可任意操纵图中多个受控节点的特征。
• 通过图稀疏化减少蒙特卡洛采样次数，提升鲁棒性认证的效率与可扩展性。
• 提出一种模型无关的方法，适用于广泛的消息传递型GNN，不同于仅限特定架构的白盒方法。

提出的方法

• 提出双重平滑分布：以概率 $ p_d $ 删除边，以概率 $ p_a $ 消融节点特征，其中被消融的特征由可学习的标记 $ m{t} $ 替代。
• 通过在图 $ G $ 的多个随机扰动下对基础GNN $ f $ 的预测进行多数投票，构建平滑分类器 $ g $。
• 推导出标签偏移的理论界 $ |p_{v,y}(G) - p_{v,y}(G')| riangleq ext{Pr}(E) $，其中 $ E $ 是至少一条来自扰动节点的消息到达目标节点 $ v $ 的事件。
• 将概率 $ ext{Pr}(E) $ 用作标签偏移的上界，从而在最坏情况下假设任意接收到的对抗性消息均会改变预测，实现可证明的鲁棒性认证。
• 应用图稀疏化以减少需拦截的消息数量，从而在不损失准确率的前提下提升可认证鲁棒性。
• 采用蒙特卡洛采样估计 $ p_{v,y}(G) $，实验表明在Cora-ML上认证时间少于17秒，显著快于先前方法。

实验结果

研究问题

• RQ1 我们能否通过利用GNN的消息传递架构而非将其视为黑盒，来改进GNN的鲁棒性认证？
• RQ2 通过边删除和节点消融实现的消息拦截平滑，如何影响对抗性消息传播至目标节点的概率？
• RQ3 我们能否在强威胁模型下为GNN推导出更紧密、可证明的鲁棒性认证，该模型中敌手控制整个节点并可任意操纵其特征？
• RQ4 与现有基于随机平滑和消融的GNN认证方法相比，所提方法在效率和鲁棒性方面表现如何？
• RQ5 在所提框架中，图稀疏化在多大程度上可增强可认证鲁棒性？

主要发现

• 所提出的灰盒认证在可认证鲁棒性方面显著优于现有黑盒随机平滑方法，尤其在图中距离较远的对抗攻击下表现更优。
• 该方法实现了对控制整个节点并可任意操纵其特征的敌手的可认证鲁棒性，其威胁模型强于先前工作。
• 在Cora-ML上的认证仅耗时17秒，远快于先前基于平滑的方法（最多需25分钟）。
• 图稀疏化减少了需拦截的消息数量，从而在保持高模型准确率的同时提升了可认证鲁棒性。
• 概率 $ ext{Pr}(E) $（表示对抗性消息到达目标节点的概率）作为标签偏移的紧致上界，有效支持了鲁棒性认证。
• 该方法具有模型无关性，适用于广泛的消息传递型GNN，而白盒认证方法通常仅限于特定模型（如GCN）。