[论文解读] Robust Multi-Output Learning with Highly Incomplete Data via Restricted Boltzmann Machines

Giancarlo Fissore, Aurélien Decelle+2 more|arXiv (Cornell University)|Dec 19, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 5

一句话总结

该论文提出RBMMO，一种基于限制玻尔兹曼机（RBM）的鲁棒多输出学习框架，通过平均场推断和对比发散训练，联合建模不完整特征与部分观测标签。在多分类与多标签任务中，无论在归纳设置还是直推设置下，该方法在高缺失数据率条件下均实现了最先进性能，尤其得益于特征与标签之间互补依赖关系的利用。

ABSTRACT

In a standard multi-output classification scenario, both features and labels of training data are partially observed. This challenging issue is widely witnessed due to sensor or database failures, crowd-sourcing and noisy communication channels in industrial data analytic services. Classic methods for handling multi-output classification with incomplete supervision information usually decompose the problem into an imputation stage that reconstructs the missing training information, and a learning stage that builds a classifier based on the imputed training set. These methods fail to fully leverage the dependencies between features and labels. In order to take full advantage of these dependencies we consider a purely probabilistic setting in which the features imputation and multi-label classification problems are jointly solved. Indeed, we show that a simple Restricted Boltzmann Machine can be trained with an adapted algorithm based on mean-field equations to efficiently solve problems of inductive and transductive learning in which both features and labels are missing at random. The effectiveness of the approach is demonstrated empirically on various datasets, with particular focus on a real-world Internet-of-Things security dataset.

研究动机与目标

• 解决真实工业数据中特征与标签均随机缺失时的多输出分类挑战。
• 克服现有方法在推理阶段假设特征完全可观测，或仅限于多标签学习的局限性。
• 开发一种统一的概率框架，联合建模特征与标签，以在高缺失程度下提升数据补全与分类性能。
• 通过简单而强大的生成模型，实现对不完整训练与测试样本的有效归纳与直推学习。
• 在包括真实世界物联网安全数据集在内的多样化数据集上，展示方法的鲁棒性与泛化能力。

提出的方法

• 将限制玻尔兹曼机（RBM）架构适配于在缺失数据条件下建模特征与标签的联合分布。
• 在训练与推理过程中，使用平均场方程近似隐藏单元的后验分布。
• 采用基于对比发散的训练过程，以高效优化不完整观测下的模型。
• 实现一种联合补全与分类机制，利用缺失特征与标签之间的依赖关系。
• 通过将训练好的模型直接应用于不完整测试样本，无需微调，实现对直推与归纳学习的支持。
• 通过统一的概率公式化，确保方法在多分类与多标签分类任务中的无缝适用性。

实验结果

研究问题

• RQ1 如受限玻尔兹曼机（RBM）这类简单生成模型，能否在高缺失率下有效实现特征与标签的联合补全？
• RQ2 与顺序补全与学习相比，联合建模特征与标签在分类与重构准确性方面有何提升？
• RQ3 RBM-MO在不同数据类型上的泛化能力如何，包括多分类与多标签设置？
• RQ4 在训练与测试数据中均达到极端缺失率（如80%）时，RBM-MO的表现如何？
• RQ5 在多分类场景下，当标签缺失时，RBM-MO能否优于专为多标签学习设计的最先进方法？

主要发现

• 在直推学习中，RBM-MO的汉明准确率显著高于基线方法，最高提升达30%，尤其在高缺失率下表现突出。
• 该模型在各数据集上均保持低重构误差（RMSE），标准差≤0.01，表明其具有高度鲁棒性与稳定性。
• 在MNIST数据集上，RBM-MO在高特征缺失率下相比基线方法展现出更优的重构准确性。
• 在归纳学习中，RBM-MO始终优于CLE与NoisyIMC，后两者因结构化缺失标签模式而在多分类任务中失效。
• 即使在特征与标签分别缺失80%的情况下，RBM-MO仍能实现最高精度，为真实世界物联网威胁检测中的人工分析提供有效指导。
• 该方法在公开数据集与真实世界物联网安全数据集上均达到最先进性能，展现出强大的泛化能力与实际可用性。