[论文解读] Privacy Aware Offloading of Deep Neural Networks

Sam Leroux, Tim Verbelen+2 more|arXiv (Cornell University)|May 30, 2018

Adversarial Robustness in Machine Learning参考文献 10被引用 15

一句话总结

本文提出了一种隐私保护的深度学习框架，在将输入图像卸载到基于云的预训练分类器之前，使用轻量级、可训练的混淆网络对图像进行混淆，从而在保持高分类准确率的同时使图像对人类无法辨认。该方法采用类似生成对抗网络的对抗训练设置，并配备独立的去混淆网络以确保隐私，在 CIFAR-10 上实现了 90% 以上的分类准确率，即使经过混淆处理。

ABSTRACT

Deep neural networks require large amounts of resources which makes them hard to use on resource constrained devices such as Internet-of-things devices. Offloading the computations to the cloud can circumvent these constraints but introduces a privacy risk since the operator of the cloud is not necessarily trustworthy. We propose a technique that obfuscates the data before sending it to the remote computation node. The obfuscated data is unintelligible for a human eavesdropper but can still be classified with a high accuracy by a neural network trained on unobfuscated images.

研究动机与目标

• 解决在云环境中使用不可信的云运营商可能访问原始用户数据的隐私风险。
• 在不损害用户隐私的前提下，实现将计算密集型 DNN 卸载到云端。
• 开发一种轻量级、可训练的混淆机制，使输入对人类无法辨认，同时保持分类准确率。
• 确保混淆网络在训练完成后无需访问分类模型的内部权重，从而实现实际部署。
• 评估混淆网络在不同预训练分类器之间的可迁移性。

提出的方法

• 该架构由三个深度神经网络组成：一个预训练的图像分类器、一个可训练的混淆网络，以及一个用于重建的去混淆网络。
• 混淆网络的训练目标是使预训练网络的分类损失最小化，同时使重建损失最大化，以确保输出对人类无法辨认。
• 去混淆网络仅用于从混淆后的图像中重建原始图像，作为隐私验证机制。
• 该方法结合使用交叉熵分类损失（Lc）和 L2 重建损失（Lr），联合训练混淆网络和去混淆网络。
• 混淆网络采用受 MobileNet 启发的架构，使用深度可分离卷积以最小化 FLOPs 和参数量。
• 训练过程中需要对预训练分类器进行反向传播，因此分类模型未被视为真正的黑箱。

实验结果

研究问题

• RQ1 我们能否设计一种可训练的混淆机制，在保持分类准确率的同时使图像对人类无法辨认？
• RQ2 该混淆网络在多种预训练分类器上的准确性保持效果如何？
• RQ3 在不重新训练的情况下，针对某一分类器训练的混淆网络在另一分类器上的迁移能力有多大？
• RQ4 混淆过程是否保留了足够的结构信息以实现准确分类，同时消除了隐私敏感细节？
• RQ5 去混淆网络能否可靠地从混淆输出中重建原始图像，从而确认混淆数据不可逆？

主要发现

• 所提出的混淆网络在 CIFAR-10 上对多种架构的分类准确率保持在 89.3% 至 90.5% 之间，尽管相比原始准确率（93.4%–95.2%）下降了 5%。
• 混淆网络的开销极小，其 FLOPs 占对应分类网络的 1.4% 至 6.7%，参数量占 1.4% 至 5.3%。
• 去混淆网络无法从混淆输出中重建原始图像，证实混淆数据不可逆。
• 混淆网络的可迁移性有限：当应用于另一分类器时，准确率显著下降，但未降至随机水平（例如，在未见过的模型上准确率保持在 30%–50%）。
• 在 ResNet18 上训练的混淆网络在另一组不同初始化的 ResNet18 上实现了 53.8% 的准确率，表明模型间存在一定程度的泛化能力。
• 该方法成功实现了隐私与实用性的平衡：图像对人类不可辨认，同时保留了足够的特征以实现高准确率分类。