[论文解读] Security Analysis of Deep Neural Networks Operating in the Presence of Cache Side-Channel Attacks

Sanghyun Hong, Michael Davinroy+6 more|arXiv (Cornell University)|Oct 8, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用 54

一句话总结

本论文提出 DeepRecon，一种缓存侧信道攻击，能够与受害 DNN 位于同一主机上以重建受害者的架构并指纹模型家族，从单次前向传播就能准确恢复 VGG19 和 ResNet50，并提出使用伪装 TinyNets 的框架级防御。

ABSTRACT

Recent work has introduced attacks that extract the architecture information of deep neural networks (DNN), as this knowledge enhances an adversary's capability to conduct black-box attacks against the model. This paper presents the first in-depth security analysis of DNN fingerprinting attacks that exploit cache side-channels. First, we define the threat model for these attacks: our adversary does not need the ability to query the victim model; instead, she runs a co-located process on the host machine victim's deep learning (DL) system is running and passively monitors the accesses of the target functions in the shared framework. Second, we introduce DeepRecon, an attack that reconstructs the architecture of the victim network by using the internal information extracted via Flush+Reload, a cache side-channel technique. Once the attacker observes function invocations that map directly to architecture attributes of the victim network, the attacker can reconstruct the victim's entire network architecture. In our evaluation, we demonstrate that an attacker can accurately reconstruct two complex networks (VGG19 and ResNet50) having observed only one forward propagation. Based on the extracted architecture attributes, we also demonstrate that an attacker can build a meta-model that accurately fingerprints the architecture and family of the pre-trained model in a transfer learning setting. From this meta-model, we evaluate the importance of the observed attributes in the fingerprinting process. Third, we propose and evaluate new framework-level defense techniques that obfuscate our attacker's observations. Our empirical security analysis represents a step toward understanding the DNNs' vulnerability to cache side-channel attacks.

研究动机与目标

• 定义一个威胁模型，其中攻击者与受害方位于同一主机上，通过缓存侧信道监视共享的 DNN 框架代码。
• 开发 DeepRecon，以从 Flush+Reload 观测中重建受害者的 DNN 架构。
• 展示攻击者在迁移学习中对架构家族和预训练教师模型进行指纹识别的能力。
• 评估在无需硬件或操作系统变更的情况下混淆观测的防御。

提出的方法

• 使用 Flush+Reload 监控映射到共享深度学习框架（TensorFlow、PyTorch/Caffe2）中的特定框架函数，这些函数对应于架构属性。
• 观察函数调用序列和计数以推断架构属性（卷积层 convs、全连接层 fcs、ReLUs、池化层 pools、合并层 merges、偏置 biases）。
• 将观测到的属性映射以从单次前向传播和多次前向传播中重建整个网络架构（如 VGG19、ResNet50）。
• 在提取属性上训练元模型（决策树），以对架构家族和迁移学习中的教师/学生模型关系进行指纹识别。
• 提出并评估框架级防御，通过运行伪装的 TinyNets 来混淆观测属性并增加重建误差。

实验结果

研究问题

• RQ1 使用缓存侧信道的共址攻击者在不查询模型的情况下，是否能够重建受害 DNN 的架构？
• RQ2 从硬件层面的观测中，哪些架构属性对指纹识别 DNN 最具信息量？
• RQ3 攻击者在多大程度上能从观测属性中对架构家族或迁移学习中的教师模型进行指纹识别？
• RQ4 框架级防御（无需硬件更改）是否能有效降低攻击者重构架构的能力？

主要发现

• DeepRecon 能够从单次前向传播的观测中准确重建 VGG19 和 ResNet50 的架构。
• 攻击者可以在 13 个 CNN 架构上提取 8 个架构属性且具有高准确性，从而实现完整的架构重建。
• 在提取属性上训练的元模型可以对架构家族和迁移学习中的教师模型进行高准确度指纹识别（在分类任务中报告为 100%）。
• 用于指纹识别的重要属性包括 #relus、#merges、#convs 和 #apools，在任务和架构之间。
• 使用伪装 TinyNets 的框架级防御显著降低属性提取的准确性，错误数量达数千（1283–2211），相比基线 DeepRecon 的错误（≈2.9）。
• 防御不需要硬件或操作系统变更，可以集成到常见的深度学习框架中。