[论文解读] Sphynx: ReLU-Efficient Network Design for Private Inference

Minsu Cho, Zahra Ghodsi+3 more|arXiv (Cornell University)|Jun 17, 2021

Adversarial Robustness in Machine Learning参考文献 32被引用 5

一句话总结

SPHYNX 提出了一种高效的 ReLU 神经架构搜索框架，采用微搜索策略设计卷积细胞，以最小化 ReLU 操作数量，同时最大化私有推理的准确率。通过使用 Gumbel-Softmax 重参数化技术优化细胞架构与缩减单元的布局，SPHYNX 在 CIFAR-100 上实现了对先前方法的帕累托占优，并在 Tiny-ImageNet 和 ImageNet 上实现了高效的私有推理，显著减少了 ReLU 数量。

ABSTRACT

The emergence of deep learning has been accompanied by privacy concerns surrounding users' data and service providers' models. We focus on private inference (PI), where the goal is to perform inference on a user's data sample using a service provider's model. Existing PI methods for deep networks enable cryptographically secure inference with little drop in functionality; however, they incur severe latency costs, primarily caused by non-linear network operations (such as ReLUs). This paper presents Sphynx, a ReLU-efficient network design method based on micro-search strategies for convolutional cell design. Sphynx achieves Pareto dominance over all existing private inference methods on CIFAR-100. We also design large-scale networks that support cryptographically private inference on Tiny-ImageNet and ImageNet.

研究动机与目标

• 为解决加密协议中昂贵的 ReLU 操作导致的私有推理高延迟问题。
• 探究此前在明文推理中有效的微搜索策略，是否能在 ReLU 高效的私有推理网络设计中超越宏搜索策略。
• 开发一种新型搜索空间与后处理方法，联合优化卷积细胞架构与缩减单元布局，以实现 ReLU 使用量最小化。
• 证明通过 SPHYNX 优化的 ReLU 网络在准确率更高且 ReLU 数量更少方面，优于现有私有推理方法。

提出的方法

• SPHYNX 引入了一种新的 ReLU 高效微搜索空间，用于卷积细胞，可与 DARTS、ENAS 和 PC-DARTS 等现有 NAS 方法集成。
• 将架构搜索建模为约束优化问题，在用户定义的 ReLU 预算下，最小化 ReLU 数量并最大化准确率。
• 提出一种新颖的后处理步骤，利用 Gumbel-Softmax 重参数化技巧优化缩减单元的布局，该步骤对在 ReLU 约束下的性能有显著影响。
• 该框架将搜索过程解耦为三个阶段：(1) 细胞发现，(2) 在 ReLU 预算下初始通道数与深度的选择，(3) 缩减单元的最优定位。
• SPHYNX 利用 DELPHI 协议进行私有推理，对线性层使用加法秘密共享，对 ReLU 层使用混淆电路，对离线操作使用同态加密。
• 通过在 CIFAR-100、Tiny-ImageNet 和 ImageNet 上的消融实验验证设计，比较不同 ReLU 预算和网络配置下的性能表现。

实验结果

研究问题

• RQ1 在 ReLU 高效的私有推理网络设计中，卷积细胞设计的微搜索策略是否能超越宏搜索策略？
• RQ2 在 ReLU 约束下，缩减单元的精确布局是否对最小化 ReLU 成本并最大化准确率至关重要？
• RQ3 通过 SPHYNX 发现的 ReLU 优化架构是否在准确率与延迟方面对现有私有推理方法实现帕累托占优？
• RQ4 在 ReLU 约束下，ReLU 平衡与 FLOP 平衡相比，哪种方法更优以优化网络性能？
• RQ5 SPHYNX 设计的细胞是否能泛化至大规模数据集（如 ImageNet），并实现高效的私有推理？

主要发现

• 在 CIFAR-100 上，SPHYNX 在所有现有私有推理方法中实现帕累托占优，在使用更少 ReLU 的同时准确率更高。
• 在 Tiny-ImageNet 上，SPHYNX 使用 614K 个 ReLU 达到 60.57% 的测试准确率，与使用 2224K 个 ReLU 的 ResNet18 性能相当，但 ReLU 数量减少了 0.25 倍以上。
• 在 ImageNet 上，SPHYNX 设计的网络在所有延迟范围内均严格优于 VGG11 和 ResNet18，证明了其在大规模数据集上的可扩展性。
• 消融实验表明，ReLU 平衡优于 FLOP 平衡，且 N=7（具有更多线性操作）的细胞性能优于 N=5 的细胞。
• 若不使用 SPHYNX 的改进方法，直接使用标准 NAS 方法（如 DARTS）的细胞，性能显著下降，证实了所提框架的必要性。
• 通过 Gumbel-Softmax 重参数化实现的缩减单元最优布局至关重要——均匀分布的布局表现更差，凸显了动态单元定位的重要性。