[论文解读] Nonnegative autoencoder with simplified random neural network

Yonghua Yin, Erol Gelenbe|arXiv (Cornell University)|Sep 25, 2016

Advanced Memory and Neural Computing参考文献 27被引用 7

一句话总结

本文提出一种新型非负自编码器，采用简化的脉冲随机神经网络（RNN）模型，将深度学习架构与受非负矩阵分解（NMF）启发的学习规则相结合，以强制实施非负性和概率约束。该方法在MNIST、CIFAR-10及16个真实世界数据集上实现了高重建精度，模拟结果证实其具备高度分布式、并行实现的潜力。

ABSTRACT

This paper proposes new nonnegative (shallow and multi-layer) autoencoders by combining the spiking Random Neural Network (RNN) model, the network architecture typical used in deep-learning area and the training technique inspired from nonnegative matrix factorization (NMF). The shallow autoencoder is a simplified RNN model, which is then stacked into a multi-layer architecture. The learning algorithm is based on the weight update rules in NMF, subject to the nonnegative probability constraints of the RNN. The autoencoders equipped with this learning algorithm are tested on typical image datasets including the MNIST, Yale face and CIFAR-10 datasets, and also using 16 real-world datasets from different areas. The results obtained through these tests yield the desired high learning and recognition accuracy. Also, numerical simulations of the stochastic spiking behavior of this RNN auto encoder, show that it can be implemented in a highly-distributed manner.

研究动机与目标

• 开发一种非负自编码器，将脉冲RNN模型与深度前馈架构相结合，以提升表征学习性能。
• 解决基于RNN的自编码器在非负性与概率和约束下训练的挑战，这些约束使得标准梯度下降不可行。
• 适应NMF启发的权重更新规则与检查-调整流程，以满足RNN约束，同时保持学习效率。
• 在基准图像数据集（MNIST、CIFAR-10、Yale Face）和来自UCI的多样化真实世界数据集上验证模型性能。
• 通过脉冲行为模拟，展示自编码器在分布式、并行环境中的可行性。

提出的方法

• 基于原始RNN方程的准线性稳态解，构建一种简化前馈RNN模型，形成浅层自编码器。
• 采用NMF启发的权重更新规则，强制连接权重的非负性，确保与RNN的概率发放模型兼容。
• 在训练过程中实施检查-调整机制，确保任意神经元的输出转移概率之和不超过1。
• 采用小批量处理（批量大小为50）的随机梯度下降（SGD）进行高效优化，适用于各类数据集。
• 利用RNN的乘积形式解，解析计算稳态激活概率，实现对模型的数值验证。
• 通过建模输入神经元的泊松脉冲列，并跟踪神经元电位随时间的变化，模拟随机脉冲行为，利用观测电位平均值估计激活概率。

实验结果

研究问题

• RQ1 能否有效将简化RNN模型重新用于非负自编码器，并结合深度前馈架构？
• RQ2 如何将NMF启发的学习规则适应于满足RNN的非负性与概率和约束？
• RQ3 所提出的自编码器是否能在标准图像和真实世界数据集上实现高重建精度，同时保持RNN固有的随机性与分布式特性？
• RQ4 RNN自编码器的随机脉冲行为能否被准确模拟，且模拟结果是否与数值稳态预测一致？
• RQ5 该自编码器在多大程度上可实现高度分布式与并行化，如其脉冲动力学所暗示的那样？

主要发现

• 非负LRNN自编码器在MNIST、CIFAR-10和Yale Face数据集上实现了高重建精度，重建误差随迭代次数减少。
• 在16个UCI真实世界数据集上，模型表现出稳健的收敛性与有效的表征学习能力，重建误差随训练迭代持续下降。
• 随机脉冲行为的模拟结果与稳态方程的数值结果高度吻合，验证了模型的一致性与稳定性。
• 经过1,000,000次模拟事件后，隐藏层与输出层的估计激活概率（q_i）与数值计算结果高度一致。
• 图4的可视化对比显示，所有层的脉冲模拟结果随时间与数值预测完全匹配，表明其具备可靠且可扩展的行为特性。
• 结果证实，LRNN自编码器因其内在的脉冲特性与局部更新机制，具备高度分布式与并行硬件实现的潜力。