[论文解读] Stochastic Neural Networks with Monotonic Activation Functions
本文提出了指数族RBMs（Exp-RBMs），一种使用具有任意平滑单调激活函数（如ReLU、Tanh和Sinh）的随机单元的生成模型家族，通过应用带有高斯噪声的拉普拉斯近似实现。该方法通过对比发散实现高效训练，并表明非标准激活函数可生成优于传统指数族单元的生成表示。
We propose a Laplace approximation that creates a stochastic unit from any smooth monotonic activation function, using only Gaussian noise. This paper investigates the application of this stochastic approximation in training a family of Restricted Boltzmann Machines (RBM) that are closely linked to Bregman divergences. This family, that we call exponential family RBM (Exp-RBM), is a subset of the exponential family Harmoniums that expresses family members through a choice of smooth monotonic non-linearity for each neuron. Using contrastive divergence along with our Gaussian approximation, we show that Exp-RBM can learn useful representations using novel stochastic units.
研究动机与目标
- 将受限玻尔兹曼机（RBMs）从传统指数族单元扩展至任意平滑单调激活函数。
- 解决在指数族谐振子（EFH）中非标准激活函数缺乏通用采样程序的问题。
- 为使用拉普拉斯近似与高斯噪声的随机单元开发一种系统且高效的采样方法。
- 证明使用新型激活函数的Exp-RBMs能够学习强大的生成表示。
- 建立Exp-RBMs的生成训练与带噪声注入的判别式训练之间的联系。
提出的方法
- 提出一种拉普拉斯近似方法，仅使用高斯噪声即可将任意平滑单调激活函数转换为随机单元。
- 将Exp-RBMs定义为具有恒等充分统计量的指数族谐振子（EFH）的一个子集，从而可直接将激活函数用作均值参数。
- 采用10步吉布斯采样进行对比发散训练，确保在多种激活函数下具有数值稳定性。
- 使用rates-FPCD进行采样，并通过间接采样似然（ISL）评估来比较测试数据上的模型性能。
- 采用非参数密度估计方法，参数β用于估计似然并评估模型质量。
- 将随机单元解释为具有不同偏置的伯努利单元的无限混合，从而建立生成与判别学习之间的理论联系。
实验结果
研究问题
- RQ1能否为具有非标准单调激活函数的RBMs开发一种通用采样程序？
- RQ2使用新型激活函数（如ReLU、Sinh）的Exp-RBMs与使用伯努利或高斯单元的标准RBMs相比，性能如何？
- RQ3带有高斯噪声的拉普拉斯近似在多大程度上实现了Exp-RBMs的高效训练？
- RQ4Exp-RBMs的生成训练与带噪声注入的判别式训练之间是否存在联系？
- RQ5当使用非指数族激活函数时，Exp-RBMs能否学习到优于传统RBMs的数据表示？
主要发现
- 在USPS数据集上，使用ReQU激活函数的Exp-RBMs在间接采样似然（ISL）方面表现最佳，优于Tanh、ReLU和Sinh单元。
- 即使将吉布斯采样步数增加到25，训练周期增加两倍，基于ReQU的模型仍能生成更优的生成样本，而Tanh单元无法达到同等性能。
- 所有模型随时间推移均表现改善，对数似然值上升，β*趋近于训练集最优值0.93，表明数据表示能力增强。
- 该方法在ReLU和Sigmoid/Tanh单元上表现出数值稳定性，而ReQU在此设置下展现出最强的表征能力。
- 带有高斯噪声的拉普拉斯近似在多种激活函数上均实现了高效采样与训练，验证了其实际可行性。
- 将随机单元解释为具有不同偏置的伯努利单元的无限混合，为生成与判别训练之间的理论联系提供了支持。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。