[论文解读] Revisit Fuzzy Neural Network: Demystifying Batch Normalization and ReLU with Generalized Hamming Network

Lixin Fan|arXiv (Cornell University)|Oct 27, 2017

Neural Networks and Applications参考文献 18被引用 15

一句话总结

本文提出了一种广义汉明网络（GHN），通过广义汉明距离（GHD）的视角重新诠释了批量归一化和ReLU等深度学习技术，引入模糊逻辑。通过解析地施加由GHD推导出的正确偏置项，该方法消除了对批量归一化的依赖，并表明ReLU在简单任务中并非必要，从而在MNIST、CIFAR和VAE任务中实现了更快的收敛速度与更受控的行为，达到最先进性能。

ABSTRACT

We revisit fuzzy neural network with a cornerstone notion of generalized hamming distance, which provides a novel and theoretically justified framework to re-interpret many useful neural network techniques in terms of fuzzy logic. In particular, we conjecture and empirically illustrate that, the celebrated batch normalization (BN) technique actually adapts the normalized bias such that it approximates the rightful bias induced by the generalized hamming distance. Once the due bias is enforced analytically, neither the optimization of bias terms nor the sophisticated batch normalization is needed. Also in the light of generalized hamming distance, the popular rectified linear units (ReLU) can be treated as setting a minimal hamming distance threshold between network inputs and weights. This thresholding scheme, on the one hand, can be improved by introducing double thresholding on both extremes of neuron outputs. On the other hand, ReLUs turn out to be non-essential and can be removed from networks trained for simple tasks like MNIST classification. The proposed generalized hamming network (GHN) as such not only lends itself to rigorous analysis and interpretation within the fuzzy logic theory but also demonstrates fast learning speed, well-controlled behaviour and state-of-the-art performances on a variety of learning tasks.

研究动机与目标

• 通过模糊逻辑与广义汉明距离，重新诠释如批量归一化和ReLU等深度学习技术。
• 证明当通过GHD解析施加正确偏置时，批量归一化可被消除。
• 表明对于MNIST分类等简单任务，ReLU并非必不可少。
• 开发一种广义汉明网络（GHN），以实现严格的理论分析与优越的训练动态。
• 通过基于模糊逻辑原则的统一、可解释框架，为深度学习提供理论基础。

提出的方法

• 引入广义汉明距离（GHD）作为 h(x, w) = x + w - 2xw，适用于实值输入与权重，将其与神经元输出计算相联系。
• 定义广义汉明网络（GHN），其中神经元输出满足由GHD推导出的偏置条件，从而无需学习偏置项的优化。
• 提出使用解析偏置项 h(x, w) 对神经元输出进行校正，通过在源头纠正内部协变量偏移，从而消除对批量归一化的依赖。
• 引入双阈值机制，通过在神经元输出上设置最小与最大阈值，抑制模糊元素，提升学习效率。
• 在多种任务中应用校正后的GHN——包括MNIST、CIFAR、VAE与句子分类——在部分情况下不使用批量归一化或ReLU。
• 在VAE中直接最小化重构误差，在CNN中最小化分类损失，由于GHN本身具备内在稳定性，故省略权重正则化。

实验结果

研究问题

• RQ1 能否通过广义汉明距离的理论推导，对批量归一化进行理论解释，并用解析偏置校正替代？
• RQ2 ReLU激活函数是否对深度学习至关重要？在简单任务中是否可被移除而不引起性能下降？
• RQ3 通过GHD施加正确偏置项，对不同学习任务的训练速度、收敛性与模型性能有何影响？
• RQ4 基于模糊逻辑的神经网络架构是否能实现最先进性能，同时保持可解释性与行为可控性？
• RQ5 双阈值机制对神经元输出的影响是什么？其在抑制模糊元素与提升学习效率方面有何作用？

主要发现

• 在MNIST上训练的VAE中，校正后的GHN将最小重构误差降低了28%，且收敛速度更快。
• 在CIFAR-10上，采用优化双阈值的GHN达到89.26%的测试准确率，显著优于无阈值的基线（84.63%）。
• 在CIFAR-100上，采用双阈值的GHN达到60.05%的准确率，显著优于无阈值版本（51.71%）。
• 在MNIST分类任务中，完全移除ReLU未导致性能下降，证明ReLU对简单任务非必需。
• 校正后的GHN在所有评估任务中（包括句子分类与VAE）均实现了更快的学习速度与受控的行为，且无需批量归一化或权重正则化。
• 所提出的框架可在模糊逻辑框架内实现严格的理论分析，为深度学习提供了新的可解释视角。