[论文解读] Privacy Vulnerability of Split Computing to Data-Free Model Inversion Attacks

Xin Dong, Hongxu Yin+4 more|arXiv (Cornell University)|Jul 13, 2021

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种名为分治反演（Divide-and-Conquer Inversion, DCI）的数据无关模型反演攻击方法，通过将深度神经网络划分为浅层模块，并利用合成数据与循环一致性，从拆分计算中的中间特征中恢复出高保真度的输入图像。该方法在ImageNet和CelebA数据集上实现了最先进性能，无需真实数据或生成先验，即可从高达42层的特征中恢复出可识别的图像。

ABSTRACT

Mobile edge devices see increased demands in deep neural networks (DNNs) inference while suffering from stringent constraints in computing resources. Split computing (SC) emerges as a popular approach to the issue by executing only initial layers on devices and offloading the remaining to the cloud. Prior works usually assume that SC offers privacy benefits as only intermediate features, instead of private data, are shared from devices to the cloud. In this work, we debunk this SC-induced privacy protection by (i) presenting a novel data-free model inversion method and (ii) demonstrating sample inversion where private data from devices can still be leaked with high fidelity from the shared feature even after tens of neural network layers. We propose Divide-and-Conquer Inversion (DCI) which partitions the given deep network into multiple shallow blocks and inverts each block with an inversion method. Additionally, cycle-consistency technique is introduced by re-directing the inverted results back to the model under attack in order to better supervise the training of the inversion modules. In contrast to prior art based on generative priors and computation-intensive optimization in deriving inverted samples, DCI removes the need for real device data and generative priors, and completes inversion with a single quick forward pass over inversion modules. For the first time, we scale data-free and sample-specific inversion to deep architectures and large datasets for both discriminative and generative networks. We perform model inversion attack to ResNet and RepVGG models on ImageNet and SNGAN on CelebA and recover the original input from intermediate features more than 40 layers deep into the network.

研究动机与目标

• 挑战拆分计算可保护数据隐私的假设，通过证明中间特征仍可能泄露原始数据。
• 开发一种不依赖真实训练数据或预训练生成模型的数据无关反演方法。
• 将模型反演扩展至深层架构及ImageNet、CelebA等大规模数据集。
• 提供一种实用工具，用于衡量数据泄露并评估拆分计算部署中的隐私风险。

提出的方法

• 将目标深度神经网络划分为多个浅层模块，以支持逐层反演。
• 使用与真实特征的批归一化统计特性相匹配的合成数据，训练每个模块的反演模块。
• 通过将反演模块的输出重新反演回目标网络，应用循环一致性以优化反演过程。
• 利用合成输入与真实特征统计之间的特征相似性损失进行反演模块优化，避免依赖真实数据。
• 仅通过一次前向传播遍历所有反演模块，即可生成重建输入，实现快速推理。
• 利用判别模型（如ResNet、RepVGG）和生成模型（如SNGAN）的结构特性，提升攻击的泛化能力。

实验结果

研究问题

• RQ1 在无法访问真实训练数据或预训练生成模型的条件下，是否能有效执行模型反演？
• RQ2 深层神经网络（超过40层）的中间特征在多大程度上可被反演以恢复原始输入数据？
• RQ3 与现有最先进反演攻击相比，所提出的DCI方法在保真度和效率方面表现如何？
• RQ4 在扰动特征以抵抗反演攻击时，模型性能与防御效果之间的权衡如何？

主要发现

• DCI在ImageNet上的ResNet和RepVGG网络中，成功从高达42层的中间特征中恢复出高保真度图像，PSNR为18.83，LPIPS为0.443。
• 该方法的重建均方误差（MSE）为0.013，显著优于先前方法（如GMI的0.104和rMSE的0.082）。
• DCI的推理时间仅为每样本15ms（1.5×10⁻² s），比次优方法（DI）快逾100倍（1.9×10³ s）。
• 该攻击方法可泛化至生成模型，在CelebA数据集上成功反演SNGAN生成的样本，且感知质量较高。
• 噪声注入和特征丢弃防御措施使模型准确率下降最高达20%，且防护效果有限，揭示了显著的性能-防御权衡。
• 循环一致性和合成数据生成使DCI在无需真实数据或生成先验的情况下实现有效反演，展示了数据无关模型反演的新范式。