[论文解读] Recent Advances in Reliable Deep Graph Learning: Inherent Noise, Distribution Shift, and Adversarial Attack

Jintang Li, Bingzhe Wu+6 more|arXiv (Cornell University)|Feb 15, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本综述全面回顾了近期在提升深度图学习（DGL）对三种主要威胁的可靠性方面的进展：固有噪声、分布偏移和对抗性攻击。它提出了一个统一的框架以理解这些威胁，指出了现有方法的局限性，并识别出关键的开放挑战，如理论基础、可扩展性、公平性以及基准测试。

ABSTRACT

Deep graph learning (DGL) has achieved remarkable progress in both business and scientific areas ranging from finance and e-commerce to drug and advanced material discovery. Despite the progress, applying DGL to real-world applications faces a series of reliability threats including inherent noise, distribution shift, and adversarial attacks. This survey aims to provide a comprehensive review of recent advances for improving the reliability of DGL algorithms against the above threats. In contrast to prior related surveys which mainly focus on adversarial attacks and defense, our survey covers more reliability-related aspects of DGL, i.e., inherent noise and distribution shift. Additionally, we discuss the relationships among above aspects and highlight some important issues to be explored in future research.

研究动机与目标

• 系统性回顾近期在提升深度图学习（DGL）对固有噪声、分布偏移和对抗性攻击的可靠性方面的进展。
• 识别并分析三种可靠性威胁之间的相互作用——强调它们在现实世界应用中常常共现。
• 通过涵盖不仅对抗性攻击，还包括固有噪声和分布偏移（这些在可靠性研究中虽关键但研究不足）来弥补现有综述的空白。
• 提出未来研究方向，包括理论框架、统一的鲁棒性解决方案、公平感知的DGL以及标准化基准。
• 强调需要超越基于准确率的评估指标，发展可扩展、稳定且公平的DGL模型。

提出的方法

• 将可靠性威胁分类为三类：固有噪声（图结构、特征和标签中的不可约噪声）、分布偏移（领域偏移和子群体偏移）以及对抗性攻击（对图数据的故意扰动）。
• 提出一个统一的不确定性建模框架，以分析和关联这三种威胁，展示它们如何通过消息传递机制在图中传播。
• 回顾每类威胁的最先进技术，包括鲁棒图神经网络（GNN）架构、不确定性量化、领域泛化以及对抗性防御方法。
• 在训练中整合分布外（OOD）样本和对抗性样本，以提升不确定性估计和威胁检测能力。
• 分析现有方法的局限性，特别是其在大规模动态图上的可扩展性不足以及在不同子群体间的公平性缺失。
• 提出未来的方法论方向，如应用不变风险最小化以实现稳定的表示学习，并探索与对抗性样本结合的反事实解释。

实验结果

研究问题

• RQ1 在现实世界的深度图学习应用中，固有噪声、分布偏移和对抗性攻击如何相互关联？
• RQ2 为何传统鲁棒机器学习方法在图结构化数据中不足以确保可靠性，原因在于消息传递机制的传播特性？
• RQ3 当前DGL鲁棒性技术的关键局限性是什么，特别是在可扩展性和公平性方面？
• RQ4 如何增强不确定性估计以同时检测和缓解多种可靠性威胁？
• RQ5 构建统一、可扩展且公平的可靠深度图学习框架的最有前景方向是什么？

主要发现

• 固有噪声、分布偏移和对抗性攻击是不同但相互关联的威胁，在现实世界的DGL应用中常常共现，且其传播效应因GNN中的消息传递机制而被放大。
• 现有综述主要聚焦于对抗性攻击，而对固有噪声和分布偏移的关注不足，尽管它们对模型可靠性具有关键影响。
• 当前的鲁棒DGL方法通常难以泛化到大规模或动态演化的图上，大多数对抗性防御技术仅限于小规模图（例如，2–3k个节点）。
• 缺乏正式的理论框架来分析分布偏移下的泛化边界或DGL中的鲁棒性，尤其是在分布外场景下。
• 标准评估指标（如准确率）不足以评估可靠性；子群体间的公平性差异以及鲁棒性权衡凸显了对原则性、多维评估指标的迫切需求。
• 反事实解释与对抗性样本密切相关但尚未在DGL中得到充分探索；二者的整合为构建可解释且鲁棒的模型提供了有前景的路径。