[论文解读] SecDD: Efficient and Secure Method for Remotely Training Neural Networks

Ilia Sucholutsky, Matthias Schonlau|arXiv (Cornell University)|Sep 19, 2020

Adversarial Robustness in Machine Learning参考文献 15被引用 7

一句话总结

SecDD 提出了一种新颖的方法，通过在目标网络架构和随机初始化下对蒸馏图像进行激进的过拟合，生成合成的、保护隐私的训练数据，从而实现远程安全高效地训练神经网络。这些合成样本表现为随机噪声或无关数据，使模型能够实现高精度训练，同时由于神经架构搜索（NAS）的计算成本极高，使得逆向工程变得不可行。

ABSTRACT

We leverage what are typically considered the worst qualities of deep learning algorithms - high computational cost, requirement for large data, no explainability, high dependence on hyper-parameter choice, overfitting, and vulnerability to adversarial perturbations - in order to create a method for the secure and efficient training of remotely deployed neural networks over unsecured channels.

研究动机与目标

• 为解决在不安全信道中传输数据可能被截获的背景下，安全训练神经网络的挑战。
• 在最小化传输数据量的同时，确保截获的数据无法被用于训练其他模型或泄露敏感信息。
• 利用蒸馏神经网络训练数据的固有隐蔽性——即合成样本表现为随机噪声——作为隐私保护机制。
• 设计一种方法，确保只有具有完全相同架构和初始化的网络才能有效利用传输数据进行训练。
• 通过将训练数据量减少几个数量级而不牺牲模型精度，提升效率。

提出的方法

• 通过故意将合成图像过拟合到特定目标网络的架构和随机权重初始化，扩展了软标签数据蒸馏（SLDD）方法。
• 使用随机噪声或无关数据集图像作为蒸馏过程中的固定冻结输入，确保其在视觉上与真实数据无法区分。
• 通过反向传播学习这些固定图像的软标签（logits），使目标网络即使在缺乏语义内容的情况下也能实现高精度。
• 采用替代的标签初始化策略，促进类别混合并减少蒸馏图像中的可识别特征。
• 利用在小型蒸馏数据集上进行神经架构搜索（NAS）的计算不可行性，防止攻击者逆向工程目标模型。
• 支持两种模式：一种使用随机噪声初始化，另一种使用无关数据集图像，两者均旨在隐藏数据语义。

实验结果

研究问题

• RQ1 能否生成合成的、保护隐私的训练数据，使其外观为随机噪声，却仍能将目标神经网络训练至高精度？
• RQ2 对特定网络架构和初始化的过拟合在多大程度上能防止未经授权的模型从蒸馏数据中学习？
• RQ3 在保持模型性能的前提下，多大程度上可以使用无关或噪声图像作为数据蒸馏中的固定输入？
• RQ4 不同的标签初始化策略对蒸馏图像的可解释性和隐私性有何影响？
• RQ5 在小型蒸馏数据集上，NAS的计算不可行性能否作为模型提取攻击的实际屏障？

主要发现

• SecDD 能够成功生成仅含 10 张图像的合成训练集，在 MNIST 上使目标网络准确率超过 95%，即使图像看起来像随机噪声。
• SecDD 中的蒸馏图像与真实的 MNIST 样本无相似之处，视觉上看起来属于无关数据集，通过隐蔽性显著增强隐私保护。
• 即使固定图像初始化为随机噪声或来自无关数据集，模型仍能实现高精度，证明了对输入语义的鲁棒性。
• 与完整数据集相比，该方法将传输数据量显著减少几个数量级，提升了效率。
• 由于攻击者需要执行计算上不可行的神经架构搜索才能重建目标模型，因此传输数据的隐私性得以保持。
• 实验表明，NAS 在小型蒸馏数据集上失败，证实了在现实假设下逆向工程是不切实际的。