[论文解读] SEALing Neural Network Models in Secure Deep Learning Accelerators

Pengfei Zuo, Yu Hua+4 more|arXiv (Cornell University)|Aug 9, 2020

Adversarial Robustness in Machine Learning参考文献 62被引用 4

一句话总结

该论文提出SEAL，一种用于保护边缘设备上深度学习加速器中神经网络模型的安全且高效的硬件加速框架。通过结合关键性感知智能加密与共置模式加密，SEAL在指令每周期（IPC）方面相比基线加速器将内存加密开销降低5%–7%，在保持对总线窥探攻击强防护能力的同时，相比传统加密方法实现1.4×–1.6×的IPC提升。

ABSTRACT

Deep learning (DL) accelerators are increasingly deployed on edge devices to support fast local inferences. However, they suffer from a new security problem, i.e., being vulnerable to physical access based attacks. An adversary can easily obtain the entire neural network (NN) model by physically snooping the GDDR memory bus that connects the accelerator chip with DRAM memory. Therefore, memory encryption becomes important for DL accelerators on edge devices to improve the security of NN models. Nevertheless, we observe that traditional memory encryption solutions that have been efficiently used in CPU systems cause significant performance degradation when directly used in DL accelerators. The main reason comes from the big bandwidth gap between the GDDR memory bus and the encryption engine. To address this problem, our paper proposes SEAL, a Secure and Efficient Accelerator scheme for deep Learning. SEAL enhances the performance of the encrypted DL accelerator from two aspects, i.e., improving the data access bandwidth and the efficiency of memory encryption. Specifically, to improve the data access bandwidth, SEAL leverages a criticality-aware smart encryption scheme which identifies partial data that have no impact on the security of NN models and allows them to bypass the encryption engine, thus reducing the amount of data to be encrypted. To improve the efficiency of memory encryption, SEAL leverages a colocation mode encryption scheme to eliminate memory accesses from counters used for encryption by co-locating data and their counters. Our experimental results demonstrate that, compared with traditional memory encryption solutions, SEAL achieves 1.4 ~ 1.6 times IPC improvement and reduces the inference latency by 39% ~ 60%. Compared with a baseline accelerator without memory encryption, SEAL compromises only 5% ~ 7% IPC for significant security improvement.

研究动机与目标

• 解决边缘式深度学习加速器中的关键安全漏洞，即攻击者可通过GDDR内存总线的物理总线窥探攻击提取神经网络模型。
• 克服传统内存加密技术在高带宽深度学习加速器中导致的严重性能下降问题，此类技术因GDDR与加密引擎之间存在带宽差距而受限。
• 设计一种安全且高效的内存加密方案，在保持强密码学安全性的前提下，最小化对延迟敏感的边缘推理工作负载的性能开销。
• 通过平衡安全性、性能与硬件效率，实现内存加密在真实世界边缘AI加速器中的实用化部署。

提出的方法

• 提出一种关键性感知智能加密（SE）方案，识别并排除非关键数据（如某些激活值或中间输出）的加密，从而减少需加密的数据总量。
• 实现一种共置模式加密（ColoE）方案，将数据与其对应的加密计数器在芯片上共置，消除解密过程中单独访问计数器所需的内存访问。
• 将SE与ColoE方案集成到统一的硬件架构中，该架构与GDDR内存接口并行运行，最大限度减少延迟并提高带宽利用率。
• 通过基于计数器的异或操作生成一次性密码本（OTP），实现语义安全，类似于计数器模式加密，但内存访问开销更低。
• 优化加密流水线，通过将计数器生成与内存读取操作重叠，隐藏解密延迟，提升有效吞吐量。
• 在基于GPU的加速器平台上，使用真实世界DNN工作负载（如ResNet、VGG）对设计进行评估，以测量IPC、推理延迟和安全保证。

实验结果

研究问题

• RQ1 如何使内存加密足够高效，以在高带宽深度学习加速器中可行，同时避免产生不可接受的性能开销？
• RQ2 在神经网络推理流水线中，哪些数据在密码学上是非关键的，可被安全地排除在加密之外而不损害模型安全性？
• RQ3 是否可通过数据与计数器的架构级共置，彻底消除传统计数器模式加密中因计数器内存访问导致的性能瓶颈？
• RQ4 结合智能数据选择与计数器共置的混合加密方案，在多大程度上可降低深度学习加速器中内存加密的性能开销？

主要发现

• 与传统内存加密解决方案相比，SEAL将推理延迟降低了39%–60%，后者通常导致超过50%的IPC下降。
• 与无加密的基线加速器相比，SEAL仅引入5%–7%的IPC开销，同时提供对总线窥探攻击的强防护能力。
• 关键性感知智能加密（SE）方案减少了需加密的数据总量，提升了有效内存带宽并降低了加密引擎的负载。
• 共置模式加密（ColoE）方案消除了对计数器的单独内存访问，减少了内存流量并提升了加密效率。
• SEAL相比传统加密方法实现了1.4×–1.6×更高的IPC，证明在带宽受限的深度学习加速器中具有显著的性能提升。
• SE与ColoE的结合实现了实用且高安全性的解决方案，适用于实时、延迟敏感的边缘AI系统部署。