[论文解读] RDeepSense: Reliable Deep Mobile Computing Models with Uncertainty Estimations

Shuochao Yao, Yiran Zhao+5 more|arXiv (Cornell University)|Sep 9, 2017

Distributed Sensor Networks and Detection Algorithms参考文献 48被引用 12

一句话总结

RDeepSense 提出了一种计算高效的深度学习框架，通过利用可调的正确评分规则和基于 dropout 的贝叶斯近似，为资源受限的移动设备和嵌入式设备提供校准良好的预测不确定性估计。该方法在保持高模型准确率和优越不确定性校准能力的同时，相比最先进方法将能耗降低了高达 90%。

ABSTRACT

Recent advances in deep learning have led various applications to unprecedented achievements, which could potentially bring higher intelligence to a broad spectrum of mobile and ubiquitous applications. Although existing studies have demonstrated the effectiveness and feasibility of running deep neural network inference operations on mobile and embedded devices, they overlooked the reliability of mobile computing models. Reliability measurements such as predictive uncertainty estimations are key factors for improving the decision accuracy and user experience. In this work, we propose RDeepSense, the first deep learning model that provides well-calibrated uncertainty estimations for resource-constrained mobile and embedded devices. RDeepSense enables the predictive uncertainty by adopting a tunable proper scoring rule as the training criterion and dropout as the implicit Bayesian approximation, which theoretically proves its correctness.To reduce the computational complexity, RDeepSense employs efficient dropout and predictive distribution estimation instead of model ensemble or sampling-based method for inference operations. We evaluate RDeepSense with four mobile sensing applications using Intel Edison devices. Results show that RDeepSense can reduce around 90% of the energy consumption while producing superior uncertainty estimations and preserving at least the same model accuracy compared with other state-of-the-art methods.

研究动机与目标

• 解决移动和嵌入式应用中深度神经网络缺乏可靠不确定性估计的问题。
• 在不增加模型复杂度或计算开销的前提下，提供数学上严谨且校准良好的预测不确定性。
• 降低移动传感工作负载中不确定性估计的推理能耗。
• 实现在如 Intel Edison 等能效受限设备上部署不确定性感知的深度学习。
• 证明不确定性估计可在对标准深度学习流程仅做最小改动的情况下实现。

提出的方法

• RDeepSense 使用可调的正确评分规则作为训练目标，以平衡均值和方差预测，确保不确定性校准良好。
• 在推理过程中应用 dropout 作为隐式贝叶斯近似，实现无需模型集成或采样的不确定性估计。
• 该框架用高效的预测分布估计替代蒙特卡洛采样，降低计算成本。
• 该方法具有理论基础，证明了 RDeepSense 与贝叶斯框架下的统计模型等价。
• 损失函数中的超参数 α 控制预测准确率与不确定性校准之间的权衡。
• 该方法专为全连接网络设计，但可通过卷积和循环 dropout 扩展至 CNN 和 RNN。

实验结果

研究问题

• RQ1 深度学习模型是否能在移动和嵌入式设备上以极低计算开销提供校准良好的不确定性估计？
• RQ2 损失函数中超参数 α 的选择如何影响不确定性校准和预测准确率？
• RQ3 基于 dropout 的贝叶斯近似是否能在无需蒙特卡洛采样或模型集成的情况下提供可靠的不确定性估计？
• RQ4 是否可能实现高质量的不确定性估计，且与标准推理相比能耗增加接近零？
• RQ5 在能效和校准质量方面，RDeepSense 与最先进不确定性估计方法相比表现如何？

主要发现

• 在 Intel Edison 设备上，RDeepSense 相比最先进不确定性估计方法将能耗降低了约 90%。
• 该方法在不确定性校准方面表现优异，表现为与最优校准曲线偏差面积最小。
• 提高超参数 α 可改善不确定性校准，但会略微增加负对数似然，表明校准与似然之间存在权衡。
• 错误预测的负平均熵随 α 增加而上升，证实了对错误预测的不确定性量化更优。
• RDeepSense 在保持至少与基线方法相同模型准确率的同时，提供了高质量的不确定性估计。
• 该框架在理论上等价于一个统计模型，验证了其可靠性和可解释性。