[论文解读] On Achieving Privacy-Preserving State-of-the-Art Edge Intelligence

Chabal, Daphnee, Sapra, Dolly+1 more|arXiv (Cornell University)|Feb 10, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文主张秘密共享是当前最先进的边缘智能最合适的隐私保护技术，识别出模型压缩——尤其是知识蒸馏和低秩近似——作为关键使能技术，以减少在现代复杂模型（如Transformer）上基于秘密共享的深度神经网络（DNN）推理中的通信和计算开销。

ABSTRACT

Deep Neural Network (DNN) Inference in Edge Computing, often called Edge Intelligence, requires solutions to insure that sensitive data confidentiality and intellectual property are not revealed in the process. Privacy-preserving Edge Intelligence is only emerging, despite the growing prevalence of Edge Computing as a context of Machine-Learning-as-a-Service. Solutions are yet to be applied, and possibly adapted, to state-of-the-art DNNs. This position paper provides an original assessment of the compatibility of existing techniques for privacy-preserving DNN Inference with the characteristics of an Edge Computing setup, highlighting the appropriateness of secret sharing in this context. We then address the future role of model compression methods in the research towards secret sharing on DNNs with state-of-the-art performance.

研究动机与目标

• 填补针对现代、计算复杂度高的边缘AI工作负载定制的隐私保护DNN推理解决方案的空白。
• 评估现有隐私保护技术与边缘计算环境约束（包括设备资源有限性和实时性要求）的兼容性。
• 由于其强大的安全保证以及与去中心化、低信任度边缘架构的高度契合，识别出秘密共享是边缘智能最合适的方案。
• 探索模型压缩技术如何减轻基于秘密共享的DNN推理的计算与通信负担，从而实现在最先进的模型上的部署。
• 为将秘密共享与新兴DNN架构（如具有自注意力等新型层的Transformer）集成提供研究指导，这些架构当前协议尚未完全支持。

提出的方法

• 评估现有隐私保护技术在边缘环境中进行DNN推理的适用性，重点关注其在真实世界、最先进的模型上的可扩展性与兼容性。
• 识别出秘密共享是最具可行性的方法，因其可在无需信任边缘服务器的前提下保护模型权重、输入和输出。
• 分析秘密共享在边缘环境中的计算成本，特别是多方计算场景下非线性操作数量多和通信轮次多的问题。
• 研究三种模型压缩策略——量化、剪枝、知识蒸馏和低秩近似——以减少秘密共享流水线中的通信与计算开销。
• 提出知识蒸馏和低秩近似在基于秘密共享的推理中最为有效，因为它们能同时减少模型大小、层数和操作数。
• 强调需要开发新型秘密共享协议，以支持非均匀、复杂的层（如自注意力和循环单元），这些层在现代Transformer中极为常见。

实验结果

研究问题

• RQ1 现有隐私保护DNN推理技术与边缘计算环境的计算和通信约束的兼容性如何？
• RQ2 为何秘密共享相较于其他密码学技术在隐私保护边缘智能中具有独特优势？
• RQ3 模型压缩技术在多大程度上可减轻基于秘密共享的DNN推理在边缘环境中的性能开销？
• RQ4 将秘密共享协议适配到具有新型层（如自注意力和Transformer）的最先进DNN时面临哪些关键挑战？
• RQ5 在量化、剪枝、知识蒸馏和低秩近似中，哪种模型压缩方法最有效地支持在现代模型上实现安全高效的秘密共享推理？

主要发现

• 由于其强大的安全保证以及与去中心化、低信任度边缘部署的兼容性，秘密共享是边缘智能最合适的隐私保护技术。
• 当前的秘密共享协议在面对最先进的DNN时面临挑战，主要由于通信轮次多和计算开销大，尤其是非线性操作和复杂层（如自注意力）的引入。
• 量化可减少通信量，但无法减少通信轮次，因此在高延迟边缘环境中效果受限。
• 剪枝对秘密共享开销的改善有限，因为它既不减少通信轮次，也不降低非线性操作的复杂度。
• 知识蒸馏和低秩近似更具前景，因为它们能减少层数和操作数，从而降低每层的计算与通信需求。
• 近期将BERT压缩为DistilBERT和Ladabert的成功表明，压缩后的模型在保持高准确率的同时，更易于支持基于秘密共享的推理。