[论文解读] Selective Network Linearization for Efficient Private Inference

Minsu Cho, Ameya Joshi+3 more|arXiv (Cornell University)|Feb 4, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文提出选择性网络线性化（SNL），一种基于梯度的方法，通过选择性地将ReLU激活替换为线性单元，在保持准确率的同时降低私有推理的延迟。通过使用可学习的、二值缩放的参数化ReLU（pReLUs）并施加ℓ1惩罚以促进稀疏性，SNL在CIFAR-100基准上实现了比最先进方法低至2.2倍的延迟或提高4.25%的准确率。

ABSTRACT

Private inference (PI) enables inference directly on cryptographically secure data.While promising to address many privacy issues, it has seen limited use due to extreme runtimes. Unlike plaintext inference, where latency is dominated by FLOPs, in PI non-linear functions (namely ReLU) are the bottleneck. Thus, practical PI demands novel ReLU-aware optimizations. To reduce PI latency we propose a gradient-based algorithm that selectively linearizes ReLUs while maintaining prediction accuracy. We evaluate our algorithm on several standard PI benchmarks. The results demonstrate up to $4.25\%$ more accuracy (iso-ReLU count at 50K) or $2.2 imes$ less latency (iso-accuracy at 70\%) than the current state of the art and advance the Pareto frontier across the latency-accuracy space. To complement empirical results, we present a "no free lunch" theorem that sheds light on how and when network linearization is possible while maintaining prediction accuracy. Public code is available at \url{https://github.com/NYU-DICE-Lab/selective_network_linearization}.

研究动机与目标

• 降低由非线性ReLU操作引起的私有推理运行时瓶颈。
• 开发一种自动化、细粒度的ReLU减少方法，避免手动架构搜索。
• 在最小化深度神经网络中ReLU操作数量的同时保持高模型准确率。
• 为选择性线性化的记忆容量权衡提供理论洞察。

提出的方法

• 对每个ReLU神经元使用可训练的、二值缩放的斜率参数（0或1）的参数化ReLU（pReLUs）。
• 对斜率系数施加ℓ1惩罚，以促进稀疏性，并在训练期间强制执行二值约束。
• 采用分阶段衰减ℓ1惩罚，以平衡准确率与ReLU减少效果。
• 使用标准反向传播，无需额外搜索或网络架构重训练。
• 实现对哪些ReLU被线性化的细粒度、逐特征图控制。
• 可无缝集成到现有深度网络（包括ResNets）中，无需改变网络深度或宽度。

实验结果

研究问题

• RQ1 基于梯度的方法能否在私有推理中实现优于现有ReLU减少技术的延迟-准确率权衡？
• RQ2 与剪枝相比，选择性线性化如何影响深度网络的记忆容量？
• RQ3 在ReLU预算限制下，如何最优分布各层的ReLU保留比例以最大化容量？
• RQ4 单一训练过程能否替代多阶段、启发式的ReLU剔除与精简？
• RQ5 在何种条件下可对网络进行线性化而不牺牲预测准确率？

主要发现

• 在CIFAR-100上，SNL在70%测试准确率下实现了比最先进方法低2.2倍的延迟。
• 在固定ReLU数量为50,000时，SNL相比先前工作将测试准确率最高提升了4.25%。
• SNL在多个基准上推进了延迟-准确率权衡空间中的帕累托前沿。
• 理论分析表明，当α1或α2 < 1时，选择性线性化网络的记忆容量严格低于完整ReLU网络。
• 最优ReLU保留比例与层宽成反比，即在更宽的第一层中线性化更多神经元。
• 对于具有d1=50,000和d2=5,000的3层网络，在ReLU预算为10,000的条件下，SNL的最优配置在线性化第一层42,500个神经元和第二层7,500个神经元。