[论文解读] Towards a Theoretical Understanding of Hashing-Based Neural Nets

Yibo Lin, Zhao Song+1 more|arXiv (Cornell University)|Dec 26, 2018

Advanced Neural Network Applications被引用 4

一句话总结

该论文首次为基于哈希的神经网络压缩提供了理论保证，表明通过哈希实现的随机线性压缩能在低维流形上保持网络性能。论文证明了压缩后的网络可近似原网络，且单隐藏层的HashedNets具有局部强凸性，从而在温和条件下可实现可证明的参数恢复。

ABSTRACT

Parameter reduction has been an important topic in deep learning due to the ever-increasing size of deep neural network models and the need to train and run them on resource limited machines. Despite many efforts in this area, there were no rigorous theoretical guarantees on why existing neural net compression methods should work. In this paper, we provide provable guarantees on some hashing-based parameter reduction methods in neural nets. First, we introduce a neural net compression scheme based on random linear sketching (which is usually implemented efficiently via hashing), and show that the sketched (smaller) network is able to approximate the original network on all input data coming from any smooth and well-conditioned low-dimensional manifold. The sketched network can also be trained directly via back-propagation. Next, we study the previously proposed HashedNets architecture and show that the optimization landscape of one-hidden-layer HashedNets has a local strong convexity property similar to a normal fully connected neural network. We complement our theoretical results with empirical verifications.

研究动机与目标

• 弥合神经网络压缩中经验成功与理论理解之间的差距。
• 为深度学习中基于哈希的参数压缩方法提供严格的理论依据。
• 基于随机线性压缩，为基于压缩的神经网络压缩建立近似保证。
• 分析HashedNets的优化景观，并证明单隐藏层网络具有局部强凸性。
• 证明在温和假设下，可对HashedNets中的参数进行可证明的恢复。

提出的方法

• 提出一种利用随机线性压缩实现的神经网络压缩方案，通过哈希函数高效实现。
• 利用子空间嵌入理论，证明在高概率下，压缩能保持低维流形上内积的性质。
• 将压缩应用于权重重矩阵，通过哈希桶之间的权重重用减少参数量。
• 分析单隐藏层HashedNets的优化景观，并证明其具有与全连接网络类似的局部强凸性。
• 采用k--wise独立哈希函数，以确保桶内分布均匀并提供理论保证。
• 使用集中不等式和概率界（例如，引理C.12）分析哈希桶的占用情况和矩阵的秩性质。

实验结果

研究问题

• RQ1 基于哈希的压缩是否能在光滑、低维的数据流形上保持深度神经网络的近似能力？
• RQ2 HashedNets的优化景观是否表现出如局部强凸性等有利性质？
• RQ3 在温和假设下，能否通过梯度下降可证明地恢复单隐藏层HashedNet的参数？
• RQ4 通过哈希实现的随机线性压缩如何影响压缩网络的泛化能力和训练动态？
• RQ5 可以为基于哈希的神经网络提供哪些关于稳定性和收敛性的理论保证？

主要发现

• 在任意光滑、良好条件的低维流形上的所有输入上，压缩网络以高概率近似原网络。
• 该压缩方法确保数据点之间的内积在ε-近似范围内被保留，从而实现精确的函数近似。
• 在温和条件下，单隐藏层HashedNets的优化目标表现出局部强凸性，与全连接网络类似。
• 可使用Zhong等人（2017b）提出的算法获得HashedNets的良好初始化，从而实现可证明的参数恢复。
• 实验结果证实，HashedNets中的权重重矩阵保持了有利的数值性质，如低条件数和稳定秩。
• 理论分析表明，当使用t-wise独立哈希且t=Θ(log N)或t=Θ(log B)时，高概率下哈希桶能均匀分布输入。