[论文解读] On the Universal Approximability and Complexity Bounds of Quantized ReLU Neural Networks

Yukun Ding, Jinglan Liu+2 more|arXiv (Cornell University)|Feb 10, 2018

Machine Learning and Algorithms被引用 18

一句话总结

该论文建立了量化ReLU神经网络的首个理论框架，证明了仅使用有限组权重值即可实现任意精度的通用逼近。研究表明，为达到误差界ε，量化网络所需的参数量最多为未量化网络的O(log⁵(1/ε))倍，解释了量化在模型压缩和加速中的经验成功。

ABSTRACT

Compression is a key step to deploy large neural networks on resource-constrained platforms. As a popular compression technique, quantization constrains the number of distinct weight values and thus reducing the number of bits required to represent and store each weight. In this paper, we study the representation power of quantized neural networks. First, we prove the universal approximability of quantized ReLU networks on a wide class of functions. Then we provide upper bounds on the number of weights and the memory size for a given approximation error bound and the bit-width of weights for function-independent and function-dependent structures. Our results reveal that, to attain an approximation error bound of $ε$, the number of weights needed by a quantized network is no more than $\mathcal{O}\left(\log^5(1/ε) ight)$ times that of an unquantized network. This overhead is of much lower order than the lower bound of the number of weights needed for the error bound, supporting the empirical success of various quantization techniques. To the best of our knowledge, this is the first in-depth study on the complexity bounds of quantized neural networks.

研究动机与目标

• 建立量化ReLU神经网络表示能力的理论基础。
• 确定给定近似误差和位宽下的网络规模与内存需求的上界。
• 量化权重量化相比未量化网络所引入的开销。
• 解释为何量化技术（包括二值化）在精度降低的情况下仍保持有效性。
• 提供一个复杂度边界，以支持面向资源受限平台的高效量化模型设计。

提出的方法

• 构建量化子网络，利用有限组不同的权重值来近似未量化网络的单元。
• 采用一种新颖的构造技术，确保尽管单个近似存在残余误差，整体端到端的近似误差仍低于ε。
• 基于期望误差ε和不同权重值数量λ，推导出权重数量和内存大小的上界。
• 将推导出的上界与未量化ReLU网络的已知下界进行比较，以评估紧致性。
• 分析开销因子随ε和λ变化的增长速率，以评估量化效率。
• 证明开销阶数低于未量化网络的下界Ω(log⁻³(1/ε)(1/ε)ᵈ ⁄ ⁿ)，支持量化效率。

实验结果

研究问题

• RQ1 具有有限个不同权重值的量化ReLU网络能否对一大类函数实现通用逼近？
• RQ2 为实现给定近似误差ε，量化ReLU网络所需的权重数量和内存大小的上界是多少？
• RQ3 从网络复杂度角度，量化带来的开销与未量化网络的下界相比如何？
• RQ4 为何极度量化的网络（如二值化网络）在实践中仍表现良好？
• RQ5 理论复杂度边界能否为量化神经网络中的最优位宽配置提供指导？

主要发现

• 仅使用两个不同权重值的量化ReLU网络即可对一大类函数实现任意精度的通用逼近。
• 为达到误差界ε，量化网络所需的权重数量最多为未量化网络的O(log⁵(1/ε))倍。
• 该开销因子远低于未量化网络的下界Ω(log⁻³(1/ε)(1/ε)ᵈ ⁄ ⁿ)，表明表达能力损失极小。
• 权重数量的上界与未量化网络的下界处于多对数因子范围内，表明具有极强的紧致性。
• 最优位宽随输入维度d增长缓慢，表明即使在高维数据下，低比特宽度也已足够。
• 理论复杂度边界可为未来量化神经网络的超参数优化与硬件设计提供指导。