[论文解读] Privacy Meets Explainability: A Comprehensive Impact Benchmark

Saifullah Saifullah, Dominique Mercier+3 more|arXiv (Cornell University)|Nov 8, 2022

Explainable Artificial Intelligence (XAI)参考文献 52被引用 7

一句话总结

本文提出了首个全面的基准研究，探讨隐私保护机器学习（PPML）技术——特别是差分隐私和联邦学习——对深度学习中可解释人工智能（XAI）方法生成的解释质量的影响。研究发现，差分隐私通常会降低解释的可解释性和保真度，而联邦学习可缓解这些影响，尤其是在与差分隐私结合使用时。

ABSTRACT

Since the mid-10s, the era of Deep Learning (DL) has continued to this day, bringing forth new superlatives and innovations each year. Nevertheless, the speed with which these innovations translate into real applications lags behind this fast pace. Safety-critical applications, in particular, underlie strict regulatory and ethical requirements which need to be taken care of and are still active areas of debate. eXplainable AI (XAI) and privacy-preserving machine learning (PPML) are both crucial research fields, aiming at mitigating some of the drawbacks of prevailing data-hungry black-box models in DL. Despite brisk research activity in the respective fields, no attention has yet been paid to their interaction. This work is the first to investigate the impact of private learning techniques on generated explanations for DL-based models. In an extensive experimental analysis covering various image and time series datasets from multiple domains, as well as varying privacy techniques, XAI methods, and model architectures, the effects of private training on generated explanations are studied. The findings suggest non-negligible changes in explanations through the introduction of privacy. Apart from reporting individual effects of PPML on XAI, the paper gives clear recommendations for the choice of techniques in real applications. By unveiling the interdependencies of these pivotal technologies, this work is a first step towards overcoming the remaining hurdles for practically applicable AI in safety-critical domains.

研究动机与目标

• 探究隐私保护机器学习（PPML）与可解释人工智能（XAI）在深度学习中尚未被探索的相互作用。
• 评估不同PPML技术（尤其是差分隐私和联邦学习）对XAI生成解释的可解释性和保真度的影响。
• 为在现实世界安全关键应用中选择PPML和XAI技术提供可操作的建议。
• 识别在不同数据集和模型架构之间，隐私、模型性能与解释质量之间的普遍趋势和权衡。

提出的方法

• 在多个来自不同领域（如医疗、传感器、文档分析）的图像和时间序列数据集上进行了广泛实验。
• 在多种模型架构（如卷积神经网络、Transformer）下评估了多种PPML技术：差分隐私（DP）、联邦平均（FedAVG），以及它们的组合（DP-Fed）。
• 应用多种XAI方法，包括显著性图、Grad-CAM以及基于扰动的归因技术，为模型输入生成热力图。
• 通过解释性、保真度（如Infidelity）以及合成数据集上已知决策相关形状的真值一致性等指标，定量评估解释质量。
• 采用受控的训练设置以最小化不同局部极小值带来的方差，确保不同模型实例之间的公平比较。
• 使用带有真值分割图的合成数据集，以在已知决策路径下验证解释的准确性。

实验结果

研究问题

• RQ1 差分隐私（DP）的应用如何影响深度学习模型中XAI生成热力图的可解释性和保真度？
• RQ2 联邦学习（FedAVG）在单独使用和与差分隐私结合使用时，对解释质量的影响程度如何？
• RQ3 在不同数据集、模型架构和XAI方法之间，隐私保护与解释质量之间的权衡是什么？
• RQ4 联邦学习能否缓解差分隐私对解释质量的负面影响？若能，其适用条件是什么？
• RQ5 在隐私保护设置下，定量XAI指标（如Infidelity、敏感性）与人类可解释性之间的相关性如何？

主要发现

• 差分隐私（DP）在所有评估的数据集和模型架构中均显著降低了基于归因的解释的可解释性和保真度。
• 当单独使用时，联邦学习（FedAVG）可通过生成更连续且空间上一致的热力图，提升解释的可解释性，优于非联邦基线模型。
• 差分隐私与联邦学习的结合（DP-Fed）可缓解DP对解释质量的负面影响，表明存在协同效应。
• 在隐私约束下，基于扰动的XAI方法相比梯度基方法（如显著性图）表现出更强的鲁棒性。
• 真值一致性度量显示，即使模型仅利用部分线索（如顶角），解释也常常无法覆盖整个决策相关区域（如完整形状），表明解释理解中存在固有的冗余性。
• DP训练的模型性能通常较低，这可能加剧解释的不稳定性与不忠实性，尽管并非解释退化的主要原因。