[论文解读] Online Algorithms for Hierarchical Inference in Deep Learning applications at the Edge

Vishnu Narayanan Moothedath, Jaya Prakash Champati+1 more|arXiv (Cornell University)|Apr 3, 2023

Advanced Bandit Algorithms Research参考文献 37被引用 4

一句话总结

本文提出了一种用于边缘人工智能中分层推理的在线元学习框架，其中边缘设备利用小型机器学习模型输出的最大 softmax 值来决定是否接受本地推理或将任务卸载至边缘服务器上的大型模型。该工作提出了两种算法——HIL-F（全反馈）与 HIL-N（无本地反馈），分别实现了子线性 regret 边界 $\sqrt{n\ln(1/\lambda_{\text{min}})/2}$ 和 $O(n^{2/3}\ln^{1/3}(1/\lambda_{\text{min}}))$，且无需对损失函数的平滑性做出假设。

ABSTRACT

We consider a resource-constrained Edge Device (ED), such as an IoT sensor or a microcontroller unit, embedded with a small-size ML model (S-ML) for a generic classification application and an Edge Server (ES) that hosts a large-size ML model (L-ML). Since the inference accuracy of S-ML is lower than that of the L-ML, offloading all the data samples to the ES results in high inference accuracy, but it defeats the purpose of embedding S-ML on the ED and deprives the benefits of reduced latency, bandwidth savings, and energy efficiency of doing local inference. In order to get the best out of both worlds, i.e., the benefits of doing inference on the ED and the benefits of doing inference on ES, we explore the idea of Hierarchical Inference (HI), wherein S-ML inference is only accepted when it is correct, otherwise the data sample is offloaded for L-ML inference. However, the ideal implementation of HI is infeasible as the correctness of the S-ML inference is not known to the ED. We propose an online meta-learning framework that the ED can use to predict the correctness of the S-ML inference. In particular, we propose to use the maximum softmax value output by S-ML for a data sample and decide whether to offload it or not. The resulting online learning problem turns out to be a Prediction with Expert Advice (PEA) problem with continuous expert space. We propose two different algorithms and prove sublinear regret bounds for them without any assumption on the smoothness of the loss function. We evaluate and benchmark the performance of the proposed algorithms for image classification application using four datasets, namely, Imagenette and Imagewoof, MNIST, and CIFAR-10.

研究动机与目标

• 为解决在无法获知小型机器学习模型预测正确性的情况下，资源受限的边缘设备进行实时推理决策的挑战。
• 实现一种分层推理机制，利用本地小型机器学习模型提升效率，同时将不确定的预测卸载至边缘服务器上的大型模型以保证准确性。
• 设计一种在线学习框架，仅使用小型模型输出的最大 softmax 分数来预测其推理的正确性，避免在推理时依赖真实标签。
• 在全反馈与无本地反馈两种场景下，建立决策不确定性的理论 regret 边界。

提出的方法

• 该框架使用小型机器学习模型输出的最大 softmax 概率作为置信度分数，以决定是否接受本地推理或卸载至大型模型。
• 在全反馈情形（HIL-F）中，算法将决策问题建模为具有连续专家空间的专家建议预测问题，采用基于置信度阈值的指数加权策略。
• 在无本地反馈情形（HIL-N）中，算法采用修改后的损失函数与伪损失，结合 regret 最小化机制，以应对推理过程中缺乏真实标签的情况。
• 理论分析基于在线凸优化与指数加权方法，推导出的 regret 边界不依赖于损失函数的平滑性。
• 在 Imagenette、Imagewoof、MNIST 和 CIFAR-10 数据集上的图像分类任务中对算法进行了评估，以验证其性能与鲁棒性。
• 该框架设计轻量化，适用于微控制器单元及其他资源受限的边缘设备部署。

Figure 1 : Schematic of the HI meta-learning framework

实验结果

研究问题

• RQ1 边缘设备能否在无真实标签访问的情况下，可靠地预测其自身小型机器学习模型推理的正确性？
• RQ2 在最小化 regret 的同时，如何实现对不确定预测的最优卸载策略，以兼顾能效与带宽效率？
• RQ3 如何将在线学习应用于连续专家空间，以在损失函数平滑性假设最少的前提下，实现分层推理中的序列决策？
• RQ4 在全反馈与无本地反馈设置下，该分层推理问题可实现怎样的 regret 边界？
• RQ5 在多种图像分类基准下，所提出的框架与基线策略相比，在准确性、延迟与能效方面表现如何？

主要发现

• HIL-F 算法在全反馈设置下实现了 $\sqrt{n\ln(1/\lambda_{\text{min}})/2}$ 的 regret 边界，且不依赖损失函数的平滑性。
• HIL-N 算法在无本地反馈设置下实现了 $O(n^{2/3}\ln^{1/3}(1/\lambda_{\text{min}}))$ 的 regret 边界，展现出在无真实标签反馈下的鲁棒性。
• regret 边界推导过程中未假设损失函数的平滑性，使该框架适用于广泛的实际边缘推理场景。
• 该框架保持了较低的计算开销，适用于微控制器单元及其他资源受限的边缘设备部署。
• 在四个数据集上的实证评估表明，所提算法通过最小化不必要的卸载，有效平衡了准确性、延迟与能效。
• 理论分析表明，即使大型模型存在不完美性，regret 仍保持有界，且边界会随卸载成本与置信度阈值变化性合理缩放。

Figure 2 : Classification of Imagenette by a small-size quantized MobileNet using width multiplier $0.25$ [ 7 ] .