[论文解读] Open DNN Box by Power Side-Channel Attack

Yun Xiang, Zhuangzhi Chen+8 more|arXiv (Cornell University)|Jul 21, 2019

Adversarial Robustness in Machine Learning参考文献 50被引用 4

一句话总结

本论文提出了一种新颖的侧信道攻击方法，利用功耗追踪来逆向推导嵌入式AI设备中深度神经网络（DNNs）的架构与参数稀疏性，实现了96.50%的平均模型识别准确率和75.88%的稀疏性分类准确率。该方法通过从黑盒系统中提取内部模型信息，实现了部分白盒攻击。

ABSTRACT

Deep neural networks are becoming popular and important assets of many AI companies. However, recent studies indicate that they are also vulnerable to adversarial attacks. Adversarial attacks can be either white-box or black-box. The white-box attacks assume full knowledge of the models while the black-box ones assume none. In general, revealing more internal information can enable much more powerful and efficient attacks. However, in most real-world applications, the internal information of embedded AI devices is unavailable, i.e., they are black-box. Therefore, in this work, we propose a side-channel information based technique to reveal the internal information of black-box models. Specifically, we have made the following contributions: (1) we are the first to use side-channel information to reveal internal network architecture in embedded devices; (2) we are the first to construct models for internal parameter estimation; and (3) we validate our methods on real-world devices and applications. The experimental results show that our method can achieve 96.50\% accuracy on average. Such results suggest that we should pay strong attention to the security problem of many AI applications, and further propose corresponding defensive strategies in the future.

研究动机与目标

• 为解决嵌入式DNN的安全漏洞问题，这些模型通常被视为无内部信息可访问的黑盒系统。
• 探究是否可以利用侧信道信息——特别是功耗——来提取关键的内部DNN结构与参数细节。
• 开发一种实用方法，仅通过真实嵌入式平台的功耗追踪，识别DNN架构并估计参数稀疏性。
• 在不同网络架构和微调配置下，验证该方法的可行性和鲁棒性。

提出的方法

• 研究人员在Raspberry Pi为基础的嵌入式AI平台上，收集了不同DNN模型推理过程中的功耗追踪数据。
• 应用机器学习技术，基于与不同层和操作相关的独特功耗追踪模式，对DNN架构进行分类。
• 将参数稀疏性用作代理特征，以估计预训练模型参数，利用稀疏性与功耗之间的相关性。
• 该方法假设使用已知架构的预训练模型，并通过不同丢弃率生成多样化的稀疏性水平，用于训练和测试。
• 实验结合了架构与参数的变化，创建了包含16个类别的混合数据集，以在真实条件下测试鲁棒性。
• 采用混淆矩阵和分类准确率评估模型识别与稀疏性估计的性能。

实验结果

研究问题

• RQ1 是否可以利用功耗侧信道追踪准确识别运行在嵌入式设备上的DNN架构？
• RQ2 在多大程度上能从功耗追踪中估计参数稀疏性，以及这如何实现预训练模型参数的重建？
• RQ3 当DNN的分类头使用不同超参数进行微调时，所提出方法的鲁棒性如何？
• RQ4 通过丢弃率改变模型稀疏性时，对架构与参数识别准确率有何影响？

主要发现

• 所提出方法在真实硬件上的多个DNN模型中，实现了96.50%的平均架构识别准确率。
• 在微调全连接层后，平均识别准确率略微下降至95.17%，表明对架构修改具有鲁棒性。
• 参数稀疏性分类实现了75.88%的平均准确率，深层网络如ResNet50和ResNet101中观察到更高的准确率。
• 该方法成功识别了不同丢弃比例的模型，在1.0丢弃比例下，ResNet50和ResNet101的准确率最高达到100%。
• 即使在架构与参数稀疏性同时变化的情况下，模型架构的识别准确率仍超过95%，表明具有强大的泛化能力。