[论文解读] Translation Insensitivity for Deep Convolutional Gaussian Processes

Vincent Dutordoir, Mark van der Wilk+3 more|arXiv (Cornell University)|Feb 15, 2019

Gaussian Processes and Bayesian Inference参考文献 24被引用 9

一句话总结

本文提出了一种对平移不敏感的卷积核，用于深度卷积高斯过程（DCGPs），以克服因输入平移下输出约束刚性而导致的性能限制。通过放宽相同补丁输入必须产生相同输出的要求，该方法在MNIST、Fashion-MNIST和CIFAR-10数据集上的准确率和预测校准性方面优于先前的GP模型和标准DNN。

ABSTRACT

Deep learning has been at the foundation of large improvements in image classification. To improve the robustness of predictions, Bayesian approximations have been used to learn parameters in deep neural networks. We follow an alternative approach, by using Gaussian processes as building blocks for Bayesian deep learning models, which has recently become viable due to advances in inference for convolutional and deep structure. We investigate deep convolutional Gaussian processes, and identify a problem that holds back current performance. To remedy the issue, we introduce a translation insensitive convolutional kernel, which removes the restriction of requiring identical outputs for identical patch inputs. We show empirically that this convolutional kernel improves performances in both shallow and deep models. On MNIST, FASHION-MNIST and CIFAR-10 we improve previous GP models in terms of accuracy, with the addition of having more calibrated predictive probabilities than simple DNN models.

研究动机与目标

• 解决由于输入补丁平移下输出约束刚性而导致的深度卷积高斯过程性能瓶颈。
• 开发一种核函数，使得即使补丁完全相同，不同输入位置也能产生不同的输出，从而实现更优的特征表示。
• 通过将高斯过程作为构建模块，提升贝叶斯深度学习模型的预测准确率与校准性。
• 在标准视觉基准上，通过浅层与深层架构验证所提出核的有效性。

提出的方法

• 提出一种新型卷积核设计，消除了在输入空间中同一补丁平移时必须产生相同输出的要求。
• 将平移不敏感的归纳偏置引入核函数，使空间上偏移的补丁能够产生不同的输出。
• 在深度高斯过程框架中使用该核，以在保持贝叶斯不确定性估计的同时提升表征灵活性。
• 采用适配于高斯过程回归的标准深度学习推理技术，使模型可扩展至图像分类任务。
• 在浅层与深层架构中应用该核，以评估其在不同模型深度下的泛化能力。
• 利用现有深度与卷积高斯过程推理方面的进展，使模型在图像数据上具备可计算性。

实验结果

研究问题

• RQ1 标准卷积核的刚性输出约束在多大程度上限制了深度卷积高斯过程的性能？
• RQ2 平移不敏感核是否能提升图像分类任务中的预测准确率与不确定性校准性？
• RQ3 所提出的核在不同模型深度及MNIST、Fashion-MNIST和CIFAR-10等数据集上是否具备泛化能力？
• RQ4 与标准深度神经网络及先前的GP模型相比，新核在准确率与校准性方面的性能表现如何？

主要发现

• 所提出的平移不敏感卷积核在MNIST、Fashion-MNIST和CIFAR-10上的分类准确率优于先前的深度高斯过程模型。
• 该模型的预测概率校准性优于标准深度神经网络，表明其不确定性估计能力更优。
• 该改进在浅层与深层架构中均被观察到，证明了该方法的可扩展性与鲁棒性。
• 该核有效消除了相同补丁必须产生相同输出的约束，从而实现了更灵活且富有表现力的特征学习。