[论文解读] On the Universal Approximability of Quantized ReLU Neural Networks.

Yukun Ding, Jinglan Liu+1 more|arXiv (Cornell University)|Feb 10, 2018

Advanced Neural Network Applications参考文献 15被引用 6

一句话总结

本文建立了量化ReLU神经网络的通用逼近性，证明其可在给定误差范围内逼近任意连续函数。此外，针对函数无关与函数相关的网络结构，推导了基于逼近误差和权重位宽的存储大小理论上限，这是首次对量化网络进行此类分析。

ABSTRACT

Compression is a key step to deploy large neural networks on resource-constrained platforms. As a popular compression technique, quantization constrains the number of distinct weight values and thus reducing the number of bits required to represent and store each weight. In this paper, we study the representation power of quantized neural networks. First, we prove the universal approximability of quantized ReLU networks. Then we provide upper bounds of storage size given the approximation error bound and the bit-width of weights for function-independent and function-dependent structures. To the best of the authors' knowledge, this is the first work on the universal approximability as well as the associated storage size bound of quantized neural networks.

研究动机与目标

• 探究量化ReLU神经网络是否能普遍逼近连续函数。
• 在目标逼近误差下，推导量化网络的存储大小理论上限。
• 在两种设置下分析存储效率：函数无关与函数相关网络结构。
• 为量化神经网络在表示能力与内存使用方面建立基础理论保障。

提出的方法

• 通过权重量化下的函数逼近理论分析，证明了量化ReLU网络的通用逼近性。
• 通过将逼近误差与权重位宽及网络结构关联，推导出存储大小的上界。
• 区分函数无关与函数相关的量化结构，以分析其各自的存储效率。
• 利用ReLU激活与量化权重空间的数学分析，建立表示能力的理论极限。
• 形式化量化网络中逼近误差、位宽与存储大小之间的权衡关系。

实验结果

研究问题

• RQ1 量化ReLU神经网络是否能普遍逼近任意连续函数？
• RQ2 在量化ReLU网络中，达到给定逼近误差所需的存储大小上限是多少？
• RQ3 在函数无关与函数相关量化结构之间进行选择，如何影响存储效率？
• RQ4 量化网络中权重位宽与逼近精度之间的理论关系是什么？

主要发现

• 量化ReLU网络具有通用逼近性，意味着它们可以以任意精度逼近任意连续函数。
• 本文建立了存储大小的上界，其与逼近误差的平方倒数及权重位宽成比例。
• 在相同误差约束下，函数相关量化结构的存储效率优于函数无关结构。
• 理论边界为在资源受限环境下设计紧凑且高精度的量化神经网络提供了原则性基础。