[论文解读] Probabilistic Deep Learning using Random Sum-Product Networks

Robert Peharz, Antonio Vergari+5 more|arXiv (Cornell University)|Sep 5, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用 13

一句话总结

本文提出RAT-SPNs，一种新颖的概率深度学习框架，结合了和积网络（SPNs）的高效性与可解释性，以及深度学习的训练灵活性。通过使用随机SPN结构并采用随机梯度下降与自动微分进行训练，RAT-SPNs在保持精确似然计算、校准良好的不确定性估计以及对缺失特征和异常值的鲁棒性的同时，实现了与深度神经网络相当的性能。

ABSTRACT

The need for consistent treatment of uncertainty has recently triggered increased interest in probabilistic deep learning methods. However, most current approaches have severe limitations when it comes to inference, since many of these models do not even permit to evaluate exact data likelihoods. Sum-product networks (SPNs), on the other hand, are an excellent architecture in that regard, as they allow to efficiently evaluate likelihoods, as well as arbitrary marginalization and conditioning tasks. Nevertheless, SPNs have not been fully explored as serious deep learning models, likely due to their special structural requirements, which complicate learning. In this paper, we make a drastic simplification and use random SPN structures which are trained in a classical deep learning manner, i.e. employing automatic differentiation, SGD, and GPU support. The resulting models, called RAT-SPNs, yield prediction results comparable to deep neural networks, while still being interpretable as generative model and maintaining well-calibrated uncertainties. This property makes them highly robust under missing input features and enables them to naturally detect outliers and peculiar samples.

研究动机与目标

• 解决现有概率深度学习模型在推理过程中无法计算精确似然的问题。
• 克服传统SPNs结构僵化的问题，后者限制了可扩展训练并阻碍其作为深度学习模型的采用。
• 利用标准深度学习工具（如自动微分和SGD）实现SPN类架构的端到端训练。
• 在实现与深度神经网络相当的性能的同时，保持SPNs的生成式可解释性与不确定性校准能力。
• 提升模型在输入特征缺失情况下的鲁棒性，并增强异常值检测能力。

提出的方法

• 本文提出随机和积网络（RAT-SPNs），其中SPN结构随机初始化，并使用标准深度学习优化技术进行训练。
• RAT-SPNs采用自动微分与随机梯度下降（SGD）在GPU加速硬件上实现端到端训练。
• 架构通过使用随机结构简化学习过程，避免了传统SPNs中常见的复杂结构约束。
• 模型保持了SPN的关键特性：高效精确推理，包括边缘化与条件化操作。
• 随机初始化使得训练可扩展，同时保留了精确计算数据似然的能力。
• 该框架整合了生成建模与判别式训练，实现了不确定性估计与高预测准确性的兼顾。

实验结果

研究问题

• RQ1 SPNs能否通过SGD和自动微分等标准深度学习优化技术实现有效训练？
• RQ2 随机SPN结构能否在支持可扩展训练的同时，保持精确似然计算与高效推理？
• RQ3 RAT-SPNs在预测准确性方面与标准深度神经网络相比表现如何？
• RQ4 RAT-SPNs在输入特征缺失的情况下，其不确定性估计的校准程度如何？
• RQ5 由于其生成式特性，RAT-SPNs是否能自然地检测出异常值与异常样本？

主要发现

• RAT-SPNs在基准任务上的预测性能与标准深度神经网络相当。
• 模型保持了数据似然的精确计算，支持严谨的概率推理。
• RAT-SPNs展现出校准良好的不确定性估计，提升了在实际部署中的可靠性。
• 模型对输入特征缺失保持鲁棒性，在数据受损时仍能维持预测性能。
• 由于其生成式建模能力，RAT-SPNs能自然检测出异常值与异常样本。
• 将SPN结构与深度学习训练流水线相结合，实现了可扩展、可解释且具备不确定性感知的模型。