[论文解读] Neural Network Model Extraction Attacks in Edge Devices by Hearing Architectural Hints

Xing Hu, Ling Liang+8 more|arXiv (Cornell University)|Mar 10, 2019

Adversarial Robustness in Machine Learning参考文献 71被引用 28

一句话总结

本文提出了一种新颖的侧信道攻击，通过分析GPU平台上的片外内存总线流量和PCIe事件，从边缘设备中提取神经网络架构。采用语音识别启发的技术（如LSTM-CTC），以高精度重建了层类型、连接性和维度，将针对性对抗攻击的成功率从14.6–25.5%提升至75.9%。

ABSTRACT

As neural networks continue their reach into nearly every aspect of software operations, the details of those networks become an increasingly sensitive subject. Even those that deploy neural networks embedded in physical devices may wish to keep the inner working of their designs hidden -- either to protect their intellectual property or as a form of protection from adversarial inputs. The specific problem we address is how, through heavy system stack, given noisy and imperfect memory traces, one might reconstruct the neural network architecture including the set of layers employed, their connectivity, and their respective dimension sizes. Considering both the intra-layer architecture features and the inter-layer temporal association information introduced by the DNN design empirical experience, we draw upon ideas from speech recognition to solve this problem. We show that off-chip memory address traces and PCIe events provide ample information to reconstruct such neural network architectures accurately. We are the first to propose such accurate model extraction techniques and demonstrate an end-to-end attack experimentally in the context of an off-the-shelf Nvidia GPU platform with full system stack. Results show that the proposed techniques achieve a high reverse engineering accuracy and improve the one's ability to conduct targeted adversarial attack with success rate from 14.6\%$\sim$25.5\% (without network architecture knowledge) to 75.9\% (with extracted network architecture).

研究动机与目标

• 为解决在边缘设备上部署的DNN模型架构所面临的关键安全漏洞，特别是具有复杂系统栈的GPU平台系统。
• 克服黑盒模型提取攻击的局限性，后者需要大量计算资源且在ResNet和DenseNet等复杂架构上失效。
• 证明架构信息会通过硬件侧信道泄露，特别是片外内存访问模式和PCIe事件，从而实现高效且精确的模型重建。
• 表明重建的架构能显著提升针对性对抗攻击的成功率，从而暴露边缘AI安全中的关键漏洞。

提出的方法

• 在DNN推理执行期间，从市售GPU平台上窃听片外内存地址轨迹和PCIe事件。
• 应用带有连接时序分类（LSTM-CTC）的长短期记忆网络，从时间序列内存访问中识别层边界并分类层类型（如ReLU、卷积）。
• 利用层间时间关联和内存访问模式分析，推断层的连接性和拓扑结构。
• 通过数据量约束和内存访问量估算，推导出与层相关的维度（如特征图大小、卷积核大小）。
• 利用对常见DNN架构的实证知识作为先验知识，指导并优化重建过程。
• 通过与原始网络对比并生成对抗性样本，验证重建模型的准确性。

实验结果

研究问题

• RQ1 能否从GPU平台上噪声且不完整的片外内存轨迹中重建神经网络架构？
• RQ2 硬件侧信道信号（内存访问模式和PCIe事件）在多大程度上揭示了层类型、连接性和维度等架构细节？
• RQ3 所提方法在从系统级执行轨迹中重建复杂DNN架构（如ResNet和DenseNet）方面的有效性如何？
• RQ4 与缺乏此类知识的黑盒攻击相比，架构重建在多大程度上提升了对抗攻击的成功率？
• RQ5 如LSTM-CTC等语音识别启发的技术能否有效适配于通用GPU上的DNN执行模式逆向工程？

主要发现

• 所提方法在标准GPU平台上，即使面对复杂系统栈和优化机制，也能以高精度从片外内存轨迹中重建DNN架构。
• 重建成功率使对抗攻击成功率从无架构知识时的14.6%–25.5%提升至75.9%（获取架构信息后）。
• 尽管存在数据重用、调度和地址转换等复杂性，内存访问模式和PCIe事件仍包含足够信息以识别层类型、序列和连接性。
• 与启发式或统计方法相比，采用LSTM-CTC进行层边界检测和类型分类显著提升了架构重建的准确性。
• 该攻击对真实世界模型（包括ResNet和DenseNet）有效，表明即使是最先进的模型也易受系统级侧信道泄露的影响。
• 结果表明，通用GPU上的硬件侧信道是模型提取的一种可行且强大的攻击向量，严重威胁广泛采用的“云端训练、边缘推理”范式的安全性。