[论文解读] Trust Your Robots! Predictive Uncertainty Estimation of Neural Networks with Sparse Gaussian Processes

Jong‐Seok Lee, Jianxiang Feng+3 more|arXiv (Cornell University)|Sep 20, 2021

Gaussian Processes and Bayesian Inference被引用 5

一句话总结

该论文提出了一种可扩展、高效的深度神经网络（DNNs）预测不确定性估计方法，通过使用稀疏高斯过程将DNNs建模为高斯过程专家混合（MoE-GP），实现了理论上的连接。该方法基于神经正切核（NTK）将DNNs与MoE-GPs联系起来，并在Jetson TX2上实现了实时不确定性估计，相比MC-dropout速度提升12倍，同时在机器人任务（包括逆动力学和目标检测）中保持了可靠的不确定性估计。

ABSTRACT

This paper presents a probabilistic framework to obtain both reliable and fast uncertainty estimates for predictions with Deep Neural Networks (DNNs). Our main contribution is a practical and principled combination of DNNs with sparse Gaussian Processes (GPs). We prove theoretically that DNNs can be seen as a special case of sparse GPs, namely mixtures of GP experts (MoE-GP), and we devise a learning algorithm that brings the derived theory into practice. In experiments from two different robotic tasks -- inverse dynamics of a manipulator and object detection on a micro-aerial vehicle (MAV) -- we show the effectiveness of our approach in terms of predictive uncertainty, improved scalability, and run-time efficiency on a Jetson TX2. We thus argue that our approach can pave the way towards reliable and fast robot learning systems with uncertainty awareness.

研究动机与目标

• 解决实时机器人系统中深度神经网络缺乏可靠且高效不确定性估计的问题。
• 通过将DNNs视为MoE-GPs的特例，弥合DNNs与高斯过程之间的理论鸿沟。
• 开发一种实用的学习算法，实现实时不确定性估计，无需模型集成或采样。
• 在真实机器人硬件（包括微型无人飞行器（MAV））上验证该方法，面对分布外数据时在真实世界条件下表现良好。
• 展示该方法在大规模数据集（最多200万个样本）上的可扩展性，并支持分布式训练。

提出的方法

• 该方法将DNNs建模为高斯过程专家混合（MoE-GP），其中每个专家为一个局部GP，门控函数将输入空间划分为不同区域。
• 在GP专家中使用神经正切核（NTK）作为核函数，从而在DNNs与GPs之间建立理论联系。
• 引入拼接先验（patchwork prior）以减少局部GP专家边界处的不连续性，提升平滑性和泛化能力。
• 学习算法在核空间中进行聚类，将输入分配给专家，确保严格划分与计算效率。
• 应用主动学习与模型压缩技术，进一步提升运行时效率并降低内存占用。
• 由于其局部稀疏结构，该框架支持分布式训练，从而实现大规模数据集的可扩展性。

实验结果

研究问题

• RQ1 深度神经网络能否被正式连接到稀疏高斯过程，特别是作为GP专家的混合？
• RQ2 该理论联系能否被用于构建一种实用、高效且可靠的DNNs不确定性估计方法，适用于机器人应用？
• RQ3 与MC-dropout和rLaplace等基于采样和权重空间的现有方法相比，该方法在速度和不确定性质量方面表现如何？
• RQ4 该方法能否扩展到大规模数据集（如200万个样本），并支持分布式训练以满足真实世界机器人应用的需求？
• RQ5 该方法能否有效检测分布外样本，并在Jetson TX2等嵌入式硬件上保持高性能？

主要发现

• 在Jetson TX2上，该方法相比MC-dropout（使用20个样本）实现了12倍的速度提升，实现在微型无人飞行器（MAV）上的实时不确定性估计。
• 该方法成功扩展到约200万个数据点（KUKA SIM数据集），并在6块GPU上8小时内完成训练，展现出强大的可扩展性。
• 在MAV上，该方法在目标检测任务中能清晰区分分布外样本，相比确定性DNNs展现出更优的新颖性检测能力。
• 不确定性估计结果比MC-dropout和rLaplace更可靠，尤其在函数空间推理中，验证了基于GP的不确定性估计的优越性。
• 拼接先验有效减少了局部GP专家之间的边界不连续性，提升了平滑性和预测性能。
• 该方法在保持高预测精度的同时提供校准良好的不确定性估计，适用于安全关键型机器人自我感知任务。