[论文解读] Training Binary Multilayer Neural Networks for Image Classification using Expectation Backpropagation

Zhiyong Cheng, Daniel Soudry+2 more|arXiv (Cornell University)|Mar 12, 2015

Neural Networks and Applications参考文献 7被引用 41

一句话总结

本文提出使用期望反向传播（EBP）训练二值多层神经网络（BMNNs）进行图像分类，实现高效的硬件部署。在MNIST数据集上，EBP在使用二值权重时达到2.12%的测试误差，使用实数值权重时达到1.66%，性能表现具有竞争力，与在实数值网络上使用标准反向传播相当。

ABSTRACT

Compared to Multilayer Neural Networks with real weights, Binary Multilayer Neural Networks (BMNNs) can be implemented more efficiently on dedicated hardware. BMNNs have been demonstrated to be effective on binary classification tasks with Expectation BackPropagation (EBP) algorithm on high dimensional text datasets. In this paper, we investigate the capability of BMNNs using the EBP algorithm on multiclass image classification tasks. The performances of binary neural networks with multiple hidden layers and different numbers of hidden units are examined on MNIST. We also explore the effectiveness of image spatial filters and the dropout technique in BMNNs. Experimental results on MNIST dataset show that EBP can obtain 2.12% test error with binary weights and 1.66% test error with real weights, which is comparable to the results of standard BackPropagation algorithm on fully connected MNNs.

研究动机与目标

• 研究在多类图像分类任务中，利用期望反向传播（EBP）算法训练二值多层神经网络（BMNNs）的可行性。
• 评估在不同网络架构（包括深度和宽度）下，BMNNs在MNIST数据集上使用EBP的性能表现。
• 研究正则化技术（如dropout和空间滤波）对使用EBP训练的BMNN性能的影响。
• 将使用二值权重的BMNNs与使用EBP训练的实数值MNNs进行性能比较，评估效率与准确率之间的权衡。

提出的方法

• EBP在贝叶斯框架内应用，实现在线学习，通过平均场近似更新权重的后验分布。
• 该算法使用平均场近似对权重后验分布进行分解，实现可计算的在线更新：$\hat{P}(\mathcal{W}|D_n) \propto \hat{P}(\mathbf{y}^{(n)}|\mathbf{x}^{(n)}, W_{ij,l}, D_{n-1}) \hat{P}(W_{ij,l}|D_{n-1})$。
• 通过符号激活函数强制实现二值权重：$\mathbf{v}_l = \text{sign}(\mathbf{W}_l \mathbf{v}_{l-1})$，确保推理过程中所有权重均为±1。
• 训练过程中通过以固定概率随机屏蔽隐藏单元来应用dropout，提升BMNNs在EBP训练下的泛化能力。
• 通过将一维输入向量重构成二维图像网格（如28×28），探索空间滤波，使局部感受野能够建模空间结构。
• 使用EBP训练网络，采用二值权重（B-EBP）和实数值权重（R-EBP），并对比是否应用dropout（标记为-D），最终在测试误差上进行评估。

实验结果

研究问题

• RQ1 EBP能否有效训练BMNNs以实现MNIST数据集上的多类图像分类？
• RQ2 网络深度（单隐藏层与双隐藏层）如何影响使用EBP训练的BMNNs的性能？
• RQ3 在使用EBP训练的BMNNs中，dropout在多大程度上能提升泛化能力？
• RQ4 通过将输入重塑为二维图像（即空间结构建模）是否能提升使用EBP的BMNNs的分类准确率？
• RQ5 使用EBP训练的BMNNs在性能上与使用EBP训练的实数值MNNs相比如何？

主要发现

• EBP在使用二值权重时于MNIST上实现2.12%的测试误差，表明BMNNs可在极低计算成本下实现优异性能。
• 在使用实数值权重时，EBP实现1.66%的测试误差，与在全连接MNNs上使用标准反向传播的性能相当。
• 双隐藏层BMNNs优于单隐藏层网络，表明在二值设置下，更深的架构能从EBP中获益。
• Dropout显著提升泛化能力：例如，在[400,400]配置中，B-EBP-D将误差从2.39%降低至2.12%，相比B-EBP-P。
• 空间滤波对实数值网络有性能提升作用（如R-EBP-P在225个单元时达到2.03%），但对二值权重网络有害（最佳B-EBP-P为3.56%）。
• 当应用dropout时，二值与实数值权重网络之间的性能差距缩小，表明正则化有助于缓解二值权重的表征能力局限。