[论文解读] Segmentations-Leak: Membership Inference Attacks and Defenses in Semantic Image Segmentation

He Yang, Shadi Rahimian+2 more|arXiv (Cornell University)|Dec 20, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用 10

一句话总结

本文首次针对语义分割模型提出成员推理攻击与防御方法，引入结构化损失图作为关键攻击向量，利用预测结果中的空间结构。实验表明，该攻击在Cityscapes、BDD100K和Mapillary Vistas数据集上均取得高成功率（AUC > 0.9）。同时，DPSGD等防御方法在仅造成≤1.36 mIoU性能损失的条件下显著降低信息泄露，证明了其在极低性能代价下实现有效隐私保护。

ABSTRACT

Today's success of state of the art methods for semantic segmentation is driven by large datasets. Data is considered an important asset that needs to be protected, as the collection and annotation of such datasets comes at significant efforts and associated costs. In addition, visual data might contain private or sensitive information, that makes it equally unsuited for public release. Unfortunately, recent work on membership inference in the broader area of adversarial machine learning and inference attacks on machine learning models has shown that even black box classifiers leak information on the dataset that they were trained on. We show that such membership inference attacks can be successfully carried out on complex, state of the art models for semantic segmentation. In order to mitigate the associated risks, we also study a series of defenses against such membership inference attacks and find effective counter measures against the existing risks with little effect on the utility of the segmentation method. Finally, we extensively evaluate our attacks and defenses on a range of relevant real-world datasets: Cityscapes, BDD100K, and Mapillary Vistas.

研究动机与目标

• 探究最先进语义分割模型是否会泄露训练数据的成员信息。
• 开发针对分割输出结构性质的高效成员推理攻击方法。
• 评估并提出实用的防御机制，在不显著降低分割性能的前提下减少成员信息泄露。
• 评估在Cityscapes、BDD100K和Mapillary Vistas等真实世界数据集上，隐私保护与模型性能之间的权衡。

提出的方法

• 提出基于分割输出逐块分析的成员推理攻击流程。
• 引入结构化损失图（SLMs）作为新型高性能表示，通过捕捉预测误差中的空间结构，提升成员推理能力。
• 利用影子模型训练二分类器，以SLMs为输入，区分训练样本与非训练样本。
• 评估多种防御策略：推理输出添加高斯噪声、推理时使用dropout，以及训练阶段采用差分隐私随机梯度下降（DPSGD）。
• 使用类激活图（CAMs）解释并可视化对成员推理最具信息量的图像区域。
• 通过消融实验和联合效用-隐私图（AUC与mIoU关系图）评估不同数据集与设置下防御策略的有效性。

实验结果

研究问题

• RQ1 能否利用如损失图等结构性输出，在语义分割模型上成功实施成员推理攻击？
• RQ2 分割预测的空间结构如何影响成员推理攻击的成功率？
• RQ3 在高斯噪声、dropout和DPSGD三种防御机制中，哪一种最有效地减少成员信息泄露，同时保持分割性能？
• RQ4 在不同防御策略下，隐私保护与模型性能（以mIoU衡量）之间的权衡关系如何？
• RQ5 可解释性方法如CAMs如何揭示对成员推理最具信息量的图像区域？

主要发现

• 结构化损失图（SLMs）在所有评估数据集上均取得最高攻击成功率，AUC超过0.9，显著优于置信度分数或原始分割图等其他表示形式。
• 即使在黑盒假设下，攻击仍能成功，表明模型输出中的空间结构会泄露成员信息，且无需依赖模型或数据分布先验知识。
• 通过DPSGD实现的差分隐私能有效减少成员信息泄露，实现近乎完美的隐私保护（AUC ≈ 0.5），且在三个数据集上性能损失极小，仅0.75–1.36 mIoU。
• 推理时应用高斯噪声是一种轻量级、高效的防御方法，无需训练成本，可作为成员保护的实用基线。
• 通过CAMs进行可解释性分析表明，攻击主要关注物体边界和类别交叠区域；而DPSGD等防御方法会显著改变这些关键区域，从而降低攻击有效性。
• 本研究证实，成员推理在语义分割中确实构成现实威胁，但同时也表明可行的、保持性能的防御机制存在，尤其以DPSGD和推理时噪声最为有效。