[论文解读] The Benefit of the Doubt: Uncertainty Aware Sensing for Edge Computing Platforms

Lorena Qendro, Jagmohan Chauhan+2 more|arXiv (Cornell University)|Feb 11, 2021

Adversarial Robustness in Machine Learning参考文献 52被引用 4

一句话总结

该论文提出了一种计算高效的框架，用于在边缘设备上的深度神经网络中进行不确定性感知推理，通过逐层分布近似来估计预测不确定性，仅需一次前向传播即可完成——无需微调或多次推理运行。该方法在保持极低内存开销的同时，相比最先进方法，能量消耗降低高达28倍，准确率提高16%。

ABSTRACT

Neural networks (NNs) lack measures of "reliability" estimation that would enable reasoning over their predictions. Despite the vital importance, especially in areas of human well-being and health, state-of-the-art uncertainty estimation techniques are computationally expensive when applied to resource-constrained devices. We propose an efficient framework for predictive uncertainty estimation in NNs deployed on embedded edge systems with no need for fine-tuning or re-training strategies. To meet the energy and latency requirements of these embedded platforms the framework is built from the ground up to provide predictive uncertainty based only on one forward pass and a negligible amount of additional matrix multiplications with theoretically proven correctness. Our aim is to enable already trained deep learning models to generate uncertainty estimates on resource-limited devices at inference time focusing on classification tasks. This framework is founded on theoretical developments casting dropout training as approximate inference in Bayesian NNs. Our layerwise distribution approximation to the convolution layer cascades through the network, providing uncertainty estimates in one single run which ensures minimal overhead, especially compared with uncertainty techniques that require multiple forwards passes and an equal linear rise in energy and latency requirements making them unsuitable in practice. We demonstrate that it yields better performance and flexibility over previous work based on multilayer perceptrons to obtain uncertainty estimates. Our evaluation with mobile applications datasets shows that our approach not only obtains robust and accurate uncertainty estimations but also outperforms state-of-the-art methods in terms of systems performance, reducing energy consumption (up to 28x), keeping the memory overhead at a minimum while still improving accuracy (up to 16%).

研究动机与目标

• 在资源受限的边缘设备上部署深度学习模型时，实现可靠的不确定性估计。
• 解决现有不确定性估计技术（如蒙特卡洛丢弃和深度集成）在嵌入式系统中计算成本过高的问题。
• 仅使用已训练好的模型，无需微调或重新训练，即可提供不确定性估计。
• 支持移动和嵌入式应用中的分类任务，其中可解释性和可靠性至关重要。
• 相比现有不确定性感知推理方法，降低能量、延迟和内存开销。

提出的方法

• 该框架利用了丢弃训练与贝叶斯神经网络中近似贝叶斯推断之间的理论等价性。
• 提出一种逐层分布近似方法，通过特征图的高斯近似，将确定性的卷积层转换为随机层。
• 不确定性以级联方式在单次前向传播中逐层传播，避免了多次推理运行。
• 每层仅引入可忽略的额外矩阵乘法操作，确保计算开销极低。
• 该方法适用于任何训练过程中使用过丢弃的预训练CNN，无需重新训练。
• 通过每层的均值和方差建模预测分布，实现在推理阶段的不确定性量化。

实验结果

研究问题

• RQ1 是否可以在不重新训练的前提下，高效估计边缘设备上预训练深度神经网络的预测不确定性？
• RQ2 如何使不确定性估计在实时、低功耗嵌入式系统中具备实用性？
• RQ3 在边缘AI中，不确定性估计的准确性与系统效率（能量、延迟、内存）之间的权衡如何？
• RQ4 单次前向传播方法是否能在准确率和效率两方面均优于蒙特卡洛丢弃等多轮推理技术？
• RQ5 该方法在不同嵌入式平台（包括无GPU的设备）上的可扩展性如何？

主要发现

• 与蒙特卡洛丢弃相比，该方法在边缘设备上的能量消耗降低高达28倍，与深度集成相比降低高达8倍。
• 在保持极低内存开销（最高仅增加5%）的前提下，准确率相比最先进方法最高提升16%。
• 该框架仅引入可忽略的运行时开销，使其适用于计算资源有限的设备。
• 在NVIDIA Jetson Nano上，即使在仅使用CPU的配置下，该方法也能高效运行，证明其在低端边缘硬件上的可行性。
• 在延迟和能效方面，该方法优于ApDeepSense及其他基线方法，相比最新方法之一具有20%的速度优势。
• 该方法在多个移动和嵌入式数据集上均保持了稳健的不确定性估计，展现出良好的泛化能力和可靠性。