[论文解读] On Polynomial Approximations for Privacy-Preserving and Verifiable ReLU Networks

Ramy E. Ali, Jinhyun So+1 more|arXiv (Cornell University)|Nov 11, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用 19

一句话总结

本文提出了一种新型的二阶多项式激活函数 $\sigma_{\text{poly}}(x) = x^2 + x$，用于在隐私保护且可验证的深度神经网络中替代 ReLU 函数。与常用的平方函数 ($x^2$) 不同，该多项式使用整数系数更优地逼近 ReLU，从而在 VGG-16 和 NIN 等多种架构下，于 CIFAR 和 Tiny ImageNet 数据集上实现最高达 10.4% 的测试准确率提升。

ABSTRACT

Outsourcing deep neural networks (DNNs) inference tasks to an untrusted cloud raises data privacy and integrity concerns. While there are many techniques to ensure privacy and integrity for polynomial-based computations, DNNs involve non-polynomial computations. To address these challenges, several privacy-preserving and verifiable inference techniques have been proposed based on replacing the non-polynomial activation functions such as the rectified linear unit (ReLU) function with polynomial activation functions. Such techniques usually require polynomials with integer coefficients or polynomials over finite fields. Motivated by such requirements, several works proposed replacing the ReLU function with the square function. In this work, we empirically show that the square function is not the best degree-2 polynomial that can replace the ReLU function even when restricting the polynomials to have integer coefficients. We instead propose a degree-2 polynomial activation function with a first order term and empirically show that it can lead to much better models. Our experiments on the CIFAR and Tiny ImageNet datasets on various architectures such as VGG-16 show that our proposed function improves the test accuracy by up to 10.4% compared to the square function.

研究动机与目标

• 解决在隐私保护且可验证的深度神经网络中，使用平方激活函数 ($x^2$) 替代 ReLU 时准确率表现不佳的问题。
• 寻找一种具有整数系数的更优二阶多项式，以在有限域或整数系数约束下统一逼近 ReLU 函数。
• 通过实证验证，所提出的多项式激活函数相较于 $x^2$ 在更深的网络架构和真实数据集（如 CIFAR 和 Tiny ImageNet）上能提升模型准确率。
• 证明即使在整数系数或有限域的约束下，平方函数也并非最优选择，从而挑战其在安全机器学习框架中的广泛使用。

提出的方法

• 提出一种新的多项式激活函数 $\sigma_{\text{poly}}(x) = x^2 + x$，作为在区间 $[-1, 1]$ 上对缩放后的 ReLU 函数 $2 \cdot \text{ReLU}(x)$ 的统一逼近。
• 理论分析表明，ReLU(x) 无法在 $[-1, 1]$ 上被整数系数多项式统一逼近，但当缩放常数为偶数时，$2 \cdot \text{ReLU}(x)$ 可以实现统一逼近。
• 对于更大的区间 $[-a, a]$，该方法先使用实数系数多项式逼近 $2 \cdot \text{ReLU}(x)$，然后将系数四舍五入为整数以适配有限域。
• 该方法确保与需要整数或有限域多项式的隐私保护和可验证计算技术兼容。
• 通过实证评估，将所提出的 $x^2 + x$ 与 $x^2$ 在多种架构（VGG-16、NIN、LeNet、CNN）和数据集（CIFAR-10、CIFAR-100、Tiny ImageNet-10、Tiny ImageNet-200）上进行比较。
• 对学习率、权重衰减和批量大小等超参数进行调优，以确保不同激活函数之间的公平比较。

实验结果

研究问题

• RQ1 平方函数 ($x^2$) 是否是用于逼近深度神经网络中 ReLU 的最优二阶整数系数多项式？
• RQ2 能否找到一种具有整数系数的更优二阶多项式，使其对 ReLU 的逼近精度优于 $x^2$？
• RQ3 用更优逼近 ReLU 的多项式替代 ReLU 是否能在隐私保护且可验证的推理框架中带来显著的准确率提升？
• RQ4 具有整数系数的多项式能否在 $[-1, 1]$ 上统一逼近 ReLU 函数？
• RQ5 在更深的架构和更复杂的数据集上，所提出的多项式 $x^2 + x$ 与 $x^2$ 在测试准确率上的表现如何比较？

主要发现

• 在 Liu et al. (2017) 提出的架构下，所提出的多项式激活函数 $\sigma_{\text{poly}}(x) = x^2 + x$ 在 CIFAR-10 上相比 $x^2$ 实现了 5.6% 的测试准确率提升。
• 在 CIFAR-100 上，使用相同架构时，该函数相比 $x^2$ 提高了 4.0% 的准确率。
• 对于 NIN 架构，在 CIFAR-10 上准确率提升达 7.7%，在 CIFAR-100 上提升达 9.4%。
• 在 VGG-16 与 Tiny ImageNet-200 的组合下，所提出的函数相比平方函数实现了 10.4% 的更高测试准确率。
• 在 LeNet 与 Tiny ImageNet-10 的组合下，所提出的函数相比 $x^2$ 提高了 5.8% 的准确率。
• 理论分析确认，ReLU(x) 无法在 $[-1, 1]$ 上被整数系数多项式统一逼近，但 $2 \cdot \text{ReLU}(x)$ 可以，从而为选择 $x^2 + x$ 作为更优逼近提供了理论依据。