[论文解读] NASS: Optimizing Secure Inference via Neural Architecture Search

Song Bian, Weiwen Jiang+3 more|arXiv (Cornell University)|Jan 30, 2020

Privacy-Preserving Technologies in Data被引用 8

一句话总结

NASS 提出了一种神经架构搜索框架，通过联合优化神经网络架构与同态加密参数，实现安全推理，相较于先前工作，在 CIFAR-10 上实现了 84.6% 的准确率，推理速度提升 2 倍，带宽减少 1.9 倍，方法是将密码学原语建模为可调设计元素，嵌入基于强化学习的搜索引擎中。

ABSTRACT

Due to increasing privacy concerns, neural network (NN) based secure inference (SI) schemes that simultaneously hide the client inputs and server models attract major research interests. While existing works focused on developing secure protocols for NN-based SI, in this work, we take a different approach. We propose NASS, an integrated framework to search for tailored NN architectures designed specifically for SI. In particular, we propose to model cryptographic protocols as design elements with associated reward functions. The characterized models are then adopted in a joint optimization with predicted hyperparameters in identifying the best NN architectures that balance prediction accuracy and execution efficiency. In the experiment, it is demonstrated that we can achieve the best of both worlds by using NASS, where the prediction accuracy can be improved from 81.6% to 84.6%, while the inference runtime is reduced by 2x and communication bandwidth by 1.9x on the CIFAR-10 dataset.

研究动机与目标

• 解决由固定、手动设计的神经网络架构导致的安全推理性能瓶颈。
• 将密码学协议参数（如同态加密）作为神经架构搜索中的第一类设计元素进行整合。
• 在安全推理工作负载中，联合优化预测准确率与执行效率（推理时间、带宽）。
• 克服密码学原语非线性性能特征对传统优化方法造成的阻碍。
• 通过探索适配密码学约束的架构设计，推动安全推理的帕累托前沿。

提出的方法

• 将密码学原语（如打包同态加密（PAHE）和混淆电路）建模为可配置的设计元素，并附带相应的计算与通信成本模型。
• 定义一个奖励函数，综合预测准确率与效率指标（推理时间、带宽），以引导搜索过程。
• 使用基于强化学习的 NAS 引擎探索架构空间，根据奖励函数的反馈生成并评估新的神经网络架构。
• 系统性分析量化级别、滤波器尺寸与层配置对安全推理性能的影响。
• 将 HE 参数调优（如 LWE 参数）整合进搜索空间，将其视为与架构选择共同优化的超参数。
• 构建一个包含卷积层、ReLU 激活函数、池化层与全连接层的搜索空间，支持可变的卷积核大小、滤波器数量与量化因子。

实验结果

研究问题

• RQ1 神经架构搜索能否有效应用于优化涉及复杂密码学原语的安全推理工作负载？
• RQ2 同态加密的非线性性能特征如何影响安全推理中准确率与效率之间的权衡？
• RQ3 联合优化神经架构与密码学参数，能否获得优于人工设计或独立参数调优的帕累托最优解？
• RQ4 在安全推理中，架构搜索在多大程度上能同时提升准确率与效率，而非必须在两者间权衡？
• RQ5 在密码学约束下搜索安全推理模型时，会涌现出哪些架构模式？

主要发现

• NASS 在 CIFAR-10 上实现了 84.6% 的预测准确率，较先前最佳的 81.6% 提升了 3 个百分点。
• 最佳 NASS 架构相比基线 Gazelle 架构，将推理时间减少 2 倍（从 8.0 秒降至 1.62 秒），通信带宽减少 1.9 倍（从 1.815 GB 降至 977 MB）。
• NASS 生成的架构仅使用 5 个卷积层，而非 6 个，展示了在不牺牲准确率的前提下实现结构效率的提升。
• CIFAR-Per 架构在 5.1 秒内完成推理，带宽仅 582 MB，准确率达到 82.6%，表明在放宽准确率要求时性能可进一步提升。
• NASS 框架成功学习了安全推理中高度非线性的性能空间，论文中的帕累托前沿图可作为证据。
• 该框架优于近期一项准确率达 85% 但推理时间超过 30 秒的方法，在相同准确率水平下实现了 4 倍的加速。