[论文解读] Variational Model Inversion Attacks

Kuan-Chieh Wang, Yan Fu+4 more|arXiv (Cornell University)|Jan 26, 2022

Adversarial Robustness in Machine Learning被引用 32

一句话总结

本文将模型反演攻击框架化为变分推断，并引入一个用公共生成器实现的变分目标，以产生真实且多样的攻击图像，在目标准确性和真实感方面优于现有方法。

ABSTRACT

Given the ubiquity of deep neural networks, it is important that these models do not reveal information about sensitive data that they have been trained on. In model inversion attacks, a malicious user attempts to recover the private dataset used to train a supervised neural network. A successful model inversion attack should generate realistic and diverse samples that accurately describe each of the classes in the private dataset. In this work, we provide a probabilistic interpretation of model inversion attacks, and formulate a variational objective that accounts for both diversity and accuracy. In order to optimize this variational objective, we choose a variational family defined in the code space of a deep generative model, trained on a public auxiliary dataset that shares some structural similarity with the target dataset. Empirically, our method substantially improves performance in terms of target attack accuracy, sample realism, and diversity on datasets of faces and chest X-ray images.

研究动机与目标

• 提供一个概率性的、变分框架，用于模型反演攻击，以从目标分类器 p_tar(y|x) 恢复数据产生分布 p_tar(x|y)。
• 利用公开的辅助数据集学习一个公共生成器，将样本限制在现实有效流形上，同时允许多样性。
• 引入一个幂后验目标，通过可调参数 gamma 在准确性和多样性之间进行权衡。
• 证明具有公共生成器的变分目标能产生更真实且多样的样本，并在图像和医学数据集上获得比先前 MI 方法更高的目标准确性。

提出的方法

• 将 MI 形式化为一个变分推断问题，最小化相对于目标后验的 KL 散度，并配以辅助先验。
• 使用公开的辅助数据集通过 GAN 生成模型 G(z) 学习辅助图像先验 p_aux(x)。
• 将变分族 q(x) 限制在由公共生成器定义的流形上，即 q(x)=E_{q(z)}[p_g(x|z)]。
• 引入幂后验目标 L_vmi^gamma(q)=E_{z~q(z)}[-log p_tar(y|G(z))]+gamma KL(q(z)||p_aux(z))。
• 对于基于 StyleGAN 的生成，在扩展的 w-空间上进行优化，并使用分层、基于流的变分族 q(z_l) 来捕捉跨层的多样性。

实验结果

研究问题

• RQ1 模型反演攻击能否重新构建为一个变分推断问题并用一个原则性目标解决？
• RQ2 在公开数据上训练的公共生成器是否能够为高维目标（如人脸和医学图像）提供真实且多样的反演样本？
• RQ3 在幂后验中调整 gamma 如何影响攻击样本的准确性-多样性权衡？
• RQ4 在扩展的 StyleGAN 潜在空间中进行优化是否能比 DCGAN 或像素空间方法提高攻击的真实感和目标准确性？
• RQ5 在目标准确性、真实感（FID）和多样性方面，VI 基攻击与先前 MI 方法在多数据集上的比较？

主要发现

方法	准确度（MNIST）	准确度（CelebA）	准确度（CXR）	FID（MNIST）	FID（CelebA）	FID（CXR）
General MI	0 ± 0.00	0 ± 0.00	0.23 ± 0.29	376.7 (57.4)	421.21 (31.3)	499.54 (96.3)
Generative MI	0.92 ± 0.02	0.07 ± 0.02	0.28 ± 0.25	88.91 (57.4)	43.21 (31.3)	142.66 (96.3)
VMI w/ DCGAN	0.95 ± 0.02	0.37 ± 0.07	0.42 ± 0.28	77.73 (57.4)	40.89 (31.3)	265.14 (96.3)
VMI w/ StyleGAN	-	0.55 ± 0.06	0.69 ± 0.23	-	17.41 (19.2)	123.17 (57.0)

• 变分目标在 MNIST、CelebA、ChestX-ray 的基线方法上均取得更高的目标准确性和更低的 FID。
• 使用对 z 的基于流的变分族比高斯变体在准确性方面的提升。
• 使用扩展的 w-空间和分层变分优化的 StyleGAN 能同时提升真实感和多样性。
• 在通常情况下增加 gamma 会提高多样性和真实感，但可能降低平均准确性，展示了可控的准确性-多样性权衡。
• VMI 在三项任务的报告指标上均优于 Generative MI 和 General MI 基线。