[论文解读] SECS: Efficient Deep Stream Processing via Class Skew Dichotomy

Boyuan Feng, Kun Wan+2 more|arXiv (Cornell University)|Sep 7, 2018

Advanced Neural Network Applications参考文献 40被引用 4

一句话总结

SECS 提出了一种动态深度流处理框架，利用类别偏移——环境相关的类别分布不平衡——以同时提升准确率并降低资源消耗。通过引入一个轻量级的运行时自适应概率层，并利用类别偏移的二元特性（热偏移与冷偏移），SECS 对冷偏移采用解释模式，对热偏移采用类特定剪枝的编译模式，从而在保持更高准确率的同时，相比 SOTA 模型实现 3 倍至 11 倍的加速。

ABSTRACT

Despite that accelerating convolutional neural network (CNN) receives an increasing research focus, the save on resource consumption always comes with a decrease in accuracy. To both increase accuracy and decrease resource consumption, we explore an environment information, called class skew, which is easily available and exists widely in daily life. Since the class skew may switch as time goes, we bring up probability layer to utilize class skew without any overhead during the runtime. Further, we observe class skew dichotomy that some class skew may appear frequently in the future, called hot class skew, and others will never appear again or appear seldom, called cold class skew. Inspired by techniques from source code optimization, two modes, i.e., interpretation and compilation, are proposed. The interpretation mode pursues efficient adaption during runtime for cold class skew and the compilation mode aggressively optimize on hot ones for more efficient deployment in the future. Aggressive optimization is processed by class-specific pruning and provides extra benefit. Finally, we design a systematic framework, SECS, to dynamically detect class skew, processing interpretation and compilation, as well as select the most accurate architectures under the runtime resource budget. Extensive evaluations show that SECS can realize end-to-end classification speedups by a factor of 3x to 11x relative to state-of-the-art convolutional neural networks, at a higher accuracy.

研究动机与目标

• 解决在移动平台上实时深度流处理中模型准确率与资源消耗之间的权衡问题。
• 识别并利用类别偏移——局部化、时变的类别分布不平衡——作为此前未被充分利用的环境信号，以提升准确率并减少计算量。
• 通过引入零开销概率层，克服现有基于微调的自适应方法高延迟的问题，实现实时类别偏移的动态适应。
• 设计双模式系统（解释模式与编译模式），分别针对冷偏移与热偏移进行优化，实现高效的运行时处理与未来部署。
• 利用 ALPerforation 自动化在资源约束下的架构选择，消除手动超参数调优。

提出的方法

• 引入一个轻量级、不可训练的模块——概率层，动态调整输出层以匹配当前的类别偏移，实现无需重训练的快速、低开销自适应。
• 通过监控类别偏移出现的频率来检测类别偏移二元特性；将频繁出现的偏移分类为“热”偏移，稀少出现的为“冷”偏移。
• 对冷类别偏移应用解释模式：在运行时利用概率层实现模型自适应，开销极低。
• 对热类别偏移触发编译模式：执行激进的、类特定的剪枝，以优化模型用于未来部署。
• 设计 ALPerforation，一种自动化架构搜索方法，基于冗余性和目标类别，选择最优的模型配置（如层数、通道数、特征图分辨率），无需微调。
• 将动态类别偏移检测、模式选择（解释/编译）与 ALPerforation 集成到统一框架 SECS 中，实现端到端的流处理。

实验结果

研究问题

• RQ1 能否利用类别偏移——局部化、时变的类别分布不平衡——在深度流处理中同时提升准确率并降低资源消耗？
• RQ2 能否设计一种零开销自适应机制，实现实时模型对变化的类别偏移的动态调整，而无需微调或引入显著延迟？
• RQ3 类别偏移二元特性（热 vs. 冷偏移）是否能支持一种有原则的双模式策略（解释与编译），以实现高效的运行时处理与未来优化？
• RQ4 自动化架构搜索（ALPerforation）能否在无手动调优或微调的情况下，有效识别在动态类别偏移条件下高性能、低资源消耗的模型？
• RQ5 在真实移动部署约束下，SECS 在速度与准确率方面相较于 SOTA 方法的优越程度如何？

主要发现

• SECS 相较于最先进卷积神经网络，实现了端到端分类速度 3 倍至 11 倍的提升，同时保持或提升了准确率。
• 概率层实现了对新类别偏移的准确自适应，且无运行时开销，优于需每次切换耗时 14 秒或更长的微调方法。
• 在热类别偏移的编译模式中，类特定剪枝相比标准剪枝提供了额外的优化收益，因其聚焦于频繁出现的类别。
• ALPerforation 有效实现了在资源约束下的自动化模型选择，消除了手动超参数调优，并隐藏了复杂性。
• SECS 不仅适用于图像分类，还具有扩展潜力，可应用于其他使用 CNN 组件的模型，如用于目标检测的 Fast R-CNN。
• 统一降低分辨率并非最优方案；SECS 通过 ALPerforation 实现的位置感知剪枝，相比统一分辨率降低，实现了更优的准确率-效率权衡。