[论文解读] Ternary Hybrid Neural-Tree Networks for Highly Constrained IoT Applications

Dibakar Gope, Ganesh Dasika+1 more|arXiv (Cornell University)|Apr 15, 2019

Advanced Neural Network Applications被引用 7

一句话总结

本文提出了一种三元混合神经树网络，通过结合神经网络与决策树，并采用三元量化技术，显著降低了在高度受限的物联网设备中的计算与内存开销。与最先进的关键词检测神经网络相比，该方法将计算量减少了11.1%，模型尺寸缩小了52.2%，内存占用减少了30.6%，同时保持了可忽略的精度损失。

ABSTRACT

Machine learning-based applications are increasingly prevalent in IoT devices. The power and storage constraints of these devices make it particularly challenging to run modern neural networks, limiting the number of new applications that can be deployed on an IoT system. A number of compression techniques have been proposed, each with its own trade-offs. We propose a hybrid network which combines the strengths of current neural- and tree-based learning techniques in conjunction with ternary quantization, and show a detailed analysis of the associated model design space. Using this hybrid model we obtained a 11.1% reduction in the number of computations, a 52.2% reduction in the model size, and a 30.6% reduction in the overall memory footprint over a state-of-the-art keyword-spotting neural network, with negligible loss in accuracy.

研究动机与目标

• 解决在功耗与存储受限的物联网设备上部署现代神经网络的挑战。
• 在保持边缘人工智能应用高精度的前提下，降低计算复杂度与内存占用。
• 探索面向物联网工作负载的混合神经树架构与三元量化技术的联合设计空间。
• 在不牺牲性能的前提下，实现显著的模型压缩与效率提升。

提出的方法

• 该方法将前馈神经网络与决策树相结合，构建一种混合架构，以同时利用深度学习的表征能力与基于树模型的高效性。
• 对权重与激活值应用三元量化，将精度降低至-1、0或+1，以最小化内存与计算开销。
• 通过可微分的路由机制实现端到端训练，使模型能够学习哪些样本更适合由神经网络组件分类，哪些更适合由树组件分类。
• 通过结构化剪枝与量化实现模型压缩，重点优化FLOPs与参数数量。
• 系统性地分析设计空间，以在不同物联网部署场景下平衡精度、模型尺寸与推理速度。

实验结果

研究问题

• RQ1 混合神经树架构在高度受限的物联网环境中如何提升效率？
• RQ2 在结合神经网络与决策树时，模型尺寸、计算量与精度之间的最优权衡是什么？
• RQ3 三元量化在不降低性能的前提下，能在多大程度上减少内存与计算开销？
• RQ4 神经网络与树组件的集成如何影响推理速度与能效？

主要发现

• 所提出的混合网络相较于最先进的关键词检测神经网络，计算量减少了11.1%。
• 与基线神经网络相比，模型尺寸缩小了52.2%。
• 整体内存占用减少了30.6%，同时保持了可忽略的精度损失。
• 三元量化与混合架构的结合实现了显著的压缩效果，且性能退化极小。