[论文解读] SNIFF: Reverse Engineering of Neural Networks with Fault Attacks

Jakub Breier, Dirmanto Jap+3 more|arXiv (Cornell University)|Feb 23, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用 15

一句话总结

本文提出 SNIFF，一种新型故障攻击方法，通过在推理过程中翻转中间激活值的符号，实现对神经网络权重和偏置的可证明精确提取。在 Keras 中使用 64 位浮点精度时，该方法的参数恢复误差低于 $10^{-13}$，相较于以往最先进的方法在精确模型提取方面实现了六个数量级的提升。

ABSTRACT

Neural networks have been shown to be vulnerable against fault injection attacks. These attacks change the physical behavior of the device during the computation, resulting in a change of value that is currently being computed. They can be realized by various fault injection techniques, ranging from clock/voltage glitching to application of lasers to rowhammer. In this paper we explore the possibility to reverse engineer neural networks with the usage of fault attacks. SNIFF stands for sign bit flip fault, which enables the reverse engineering by changing the sign of intermediate values. We develop the first exact extraction method on deep-layer feature extractor networks that provably allows the recovery of the model parameters. Our experiments with Keras library show that the precision error for the parameter recovery for the tested networks is less than $10^{-13}$ with the usage of 64-bit floats, which improves the current state of the art by 6 orders of magnitude. Additionally, we discuss the protection techniques against fault injection attacks that can be applied to enhance the fault resistance.

研究动机与目标

• 探究故障注入攻击是否不仅能破坏神经网络行为，还能用于提取模型参数。
• 开发一种对深层特征提取网络中的权重和偏置实现精确、可证明恢复的方法。
• 通过利用类似侧通道的物理故障注入，克服现有黑盒模型盗取攻击的局限性。
• 证明符号位翻转故障能够以高保真度揭示完整的参数信息。
• 建立一种新的神经网络逆向工程攻击向量，实现在参数恢复中完美准确率。

提出的方法

• SNIFF 攻击在推理过程中向神经网络注入故障，翻转其中间激活值的符号。
• 通过观察输出概率的变化，攻击者推断出最后一层权重和偏置的符号与大小。
• 该方法利用符号翻转激活与 Softmax 输出之间的数学关系，实现对最后一层参数的精确恢复。
• 该攻击应用于基于迁移学习的模型，重点针对特征提取后的最后一层全连接层（即“学生层”）。
• 该方法依赖于最后一层的线性特性以及 Softmax 函数对输入符号变化的敏感性。
• 该攻击在基于 Keras 的模型上通过受控的故障注入实现，使用 64 位浮点精度。

实验结果

研究问题

• RQ1 故障注入攻击是否可用于提取神经网络的精确参数，而不仅仅是导致误分类？
• RQ2 是否可以使用物理故障注入技术实现模型权重和偏置的可证明精确恢复？
• RQ3 浮点数算术的精度如何影响此类攻击中参数恢复的准确性？
• RQ4 是否可以系统性地利用符号位翻转故障来逆向工程深度神经网络的最后一层？
• RQ5 使用这种基于故障的方法进行精确模型提取的实际限制和要求是什么？

主要发现

• 在 Keras 中使用 64 位浮点精度时，SNIFF 攻击的参数恢复最大误差小于 $10^{-13}$。
• 该方法能够对深层特征提取网络的最后一层权重和偏置实现可证明的精确提取。
• 该攻击对使用 Softmax 激活函数的模型有效，且该方法可扩展至其他激活函数。
• 恢复精度直接取决于底层计算机架构和所使用的浮点数库。
• 与以往的黑盒模型盗取技术相比，该工作在精确模型提取方面将最先进水平提升了六个数量级。
• 结果表明，故障注入可成为逆向工程专有神经网络模型的强大物理侧通道。