[论文解读] Online Deep Learning: Growing RBM on the fly

Savitha Ramasamy, Rajaraman Kanagasabai+2 more|arXiv (Cornell University)|Mar 6, 2018

Privacy-Preserving Technologies in Data参考文献 1被引用 6

一句话总结

该论文提出在线生成判别型RBM（OGD-RBM），一种在线学习算法，可在流式数据到达时实时动态扩展受限玻尔兹曼机（RBM）的隐藏层，利用重建误差来添加、更新或删除神经元。与批量方法相比，该方法在分类准确率上表现更优，且所需神经元数量减少24%–70%，训练样本更少，尤其在类别不平衡数据设置下表现突出。

ABSTRACT

We propose a novel online learning algorithm for Restricted Boltzmann Machines (RBM), namely, the Online Generative Discriminative Restricted Boltzmann Machine (OGD-RBM), that provides the ability to build and adapt the network architecture of RBM according to the statistics of streaming data. The OGD-RBM is trained in two phases: (1) an online generative phase for unsupervised feature representation at the hidden layer and (2) a discriminative phase for classification. The online generative training begins with zero neurons in the hidden layer, adds and updates the neurons to adapt to statistics of streaming data in a single pass unsupervised manner, resulting in a feature representation best suited to the data. The discriminative phase is based on stochastic gradient descent and associates the represented features to the class labels. We demonstrate the OGD-RBM on a set of multi-category and binary classification problems for data sets having varying degrees of class-imbalance. We first apply the OGD-RBM algorithm on the multi-class MNIST dataset to characterize the network evolution. We demonstrate that the online generative phase converges to a stable, concise network architecture, wherein individual neurons are inherently discriminative to the class labels despite unsupervised training. We then benchmark OGD-RBM performance to other machine learning, neural network and ClassRBM techniques for credit scoring applications using 3 public non-stationary two-class credit datasets with varying degrees of class-imbalance. We report that OGD-RBM improves accuracy by 2.5-3% over batch learning techniques while requiring at least 24%-70% fewer neurons and fewer training samples. This online generative training approach can be extended greedily to multiple layers for training Deep Belief Networks in non-stationary data mining applications without the need for a priori fixed architectures.

研究动机与目标

• 解决在流式、非平稳数据环境中训练深度神经网络时，网络架构通常需预先固定的问题。
• 开发一种在线学习算法，从零开始基于数据统计演化RBM架构，无需预设网络深度或宽度。
• 实现无监督特征学习，即使在训练过程中无类别标签，也能自动生成判别性神经元。
• 通过在线神经元增长自适应调整网络容量，以匹配少数类样本的表示，从而提升在类别不平衡数据集上的性能。

提出的方法

• 算法从零个隐藏神经元开始，对每个到达的样本进行单次遍历处理。
• 通过每一样本的重建误差评估，决定是否添加新神经元、更新现有权重，或丢弃样本。
• 当重建误差超过阈值时触发神经元添加，以确保对数据特征的充分表示。
• 生成阶段在无类别监督的情况下学习紧凑且数据自适应的特征表示。
• 后续判别阶段使用随机梯度下降将学习到的特征映射到类别标签。
• 网络架构以贪心方式演化，无需固定架构约束，可扩展至深度置信网络。

实验结果

研究问题

• RQ1 能否在无先验架构设定的情况下，使在线RBM学习算法根据流式数据动态扩展其架构？
• RQ2 在无监督、在线生成阶段学习到的神经元是否能天然具备判别性，适用于下游分类任务？
• RQ3 OGD-RBM的分类性能是否对训练样本呈现顺序不敏感？
• RQ4 在显著减少网络规模和训练样本数量的情况下，OGD-RBM能否在准确率上超越批量学习方法，尤其是在类别不平衡场景下？
• RQ5 在线神经元增长机制如何适应类别不平衡数据流中少数类的分布？

主要发现

• 在具有不同程度类别不平衡的信用评分数据集上，OGD-RBM的准确率比批量学习技术高出2.5%–3%。
• 该算法所需神经元数量至少比批量方法减少24%–70%，表明其架构更加紧凑高效。
• 尽管采用无监督训练，OGD-RBM的隐藏神经元仍表现出天然判别性，其特征表示中存在显著的类别关联性。
• 分类性能对训练数据顺序不敏感，证实了在线学习过程的鲁棒性与稳定性。
• 在高度不平衡的数据集中，更多隐藏神经元被分配给少数类，反映出对数据分布的自适应学习能力。
• 在MNIST数据集上，在线生成阶段收敛至一个稳定且简洁的网络，其中每个神经元代表特定类别分布。