[论文解读] Online Semi-Supervised Learning with Deep Hybrid Boltzmann Machines and Denoising Autoencoders

Alexander G. Ororbia, C. Lee Giles+1 more|arXiv (Cornell University)|Nov 22, 2015

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 27

一句话总结

该论文提出了两种新颖的深度混合架构——深度混合玻尔兹曼机（3-DHBM）和深度混合去噪自编码器（3-DHDA），在所有层上联合优化判别与生成目标，避免了贪心预训练中的‘表征漂移’问题。3-DHBM在MNIST数据集上取得了具有竞争力的性能（测试误差15.80% ± 0.9），优于基线模型，并接近半监督学习的最先进结果。

ABSTRACT

Two novel deep hybrid architectures, the Deep Hybrid Boltzmann Machine and the Deep Hybrid Denoising Auto-encoder, are proposed for handling semi-supervised learning problems. The models combine experts that model relevant distributions at different levels of abstraction to improve overall predictive performance on discriminative tasks. Theoretical motivations and algorithms for joint learning for each are presented. We apply the new models to the domain of data-streams in work towards life-long learning. The proposed architectures show improved performance compared to a pseudo-labeled, drop-out rectifier network.

研究动机与目标

• 为解决深度生成模型中贪心、逐层预训练的局限性，该方法可导致学习不稳定和泛化能力差，原因在于表征漂移。
• 开发一种统一的学习框架，联合优化所有层的参数，实现在不同抽象层级之间的全局协调。
• 通过基于原理的混合建模，利用有标签和无标签数据，在在线、数据流设置中提升半监督学习性能。
• 通过引入一种在每一层都整合判别与生成学习的统一架构，克服先前混合模型中垂直聚合的次优性能问题。

提出的方法

• 提出深度混合玻尔兹曼机（3-DHBM），由受限玻尔兹曼机堆叠而成，每一层建模联合分布p(y, h_l)，并支持生成与判别参数的联合学习。
• 引入深度混合去噪自编码器（3-DHDA），一种深度自编码器变体，通过去噪正则化在所有层上联合学习重建与分类目标。
• 采用统一的学习算法，同时计算并反向传播判别与生成梯度，避免逐层预训练，减少表征漂移。
• 使用联合目标函数，平衡重建损失（用于生成建模）与分类损失（用于判别性能），其中超参数λ和β控制两者之间的权衡。
• 通过增量式参数更新，将模型应用于在线、流式数据，将学习过程建模为类人婴儿学习的终身增量学习任务。
• 采用类似自顶向下-自底向上算法的加权判别梯度更新方式，以提升收敛速度与预测准确性。

实验结果

研究问题

• RQ1 与贪心、逐层预训练相比，是否能在所有层上联合优化生成与判别目标，从而提升半监督学习性能？
• RQ2 是否一种避免独立专家垂直聚合的统一混合架构，能优于通过组合独立、逐层专家预测的模型？
• RQ3 在标签稀缺且输入分布可能漂移的在线、数据流环境中，是否能保持深度混合模型的稳健性能？
• RQ4 在MNIST和20 Newsgroups等标准基准上，所提出的混合模型性能是否优于当前最先进方法？

主要发现

• 3-DHBM在仅使用100个有标签样本的情况下，MNIST测试误差为15.80% ± 0.9，优于多个强基线模型，包括DROPNN+PL（16.15%）和EMBEDNN（16.86%）。
• 3-DHDA在20 Newsgroups数据集上取得39.45% ± 0.1的测试误差，显著优于DROPNN+PL（44.39%）和3-DHBM（44.67%）。
• 3-DHBM未超越当前最先进方法DROPNN+PL+DAE（10.49%误差），但该方法使用了预训练，表明将所提出的混合框架与预训练结合可能带来进一步提升。
• 3-DHDA在MNIST上表现欠佳（21.24% ± 0.6），作者归因于对超参数λ、β和噪声概率的高敏感性，表明需要更优的超参数调优。
• 统一的混合学习框架具有通用性，可推广至DHBM与DHDA之外，适用于任何能够计算联合生成与判别梯度的多层级神经网络架构。