[论文解读] PCA-driven Hybrid network design for enabling Intelligence at the Edge.

Indranil Chakraborty, Deboleena Roy+3 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Neural Network Applications参考文献 21被引用 6

一句话总结

本文提出了一种基于主成分分析（PCA）的混合网络设计方法，通过识别二值神经网络中的关键层并提升其精度，显著提高了分类准确率。通过选择性地将关键层升级至更高位宽，同时保持超过一半的网络为二值化，Hybrid-Net 在 CIFAR-100 和 ImageNet 上相较于 XNOR-Net 实现了超过 10% 的准确率提升，同时保持了 XNOR-Net 94% 的能效。

ABSTRACT

The recent advent of IOT has increased the demand for enabling AI-based edge computing in several applications including healthcare monitoring systems, autonomous vehicles etc. This has necessitated the search for efficient implementations of neural networks in terms of both computation and storage. Although extreme quantization has proven to be a powerful tool to achieve significant compression over full-precision networks, it can result in significant degradation in performance for complex image classification tasks. In this work, we propose a Principal Component Analysis (PCA) driven methodology to design mixed-precision, hybrid networks. Unlike standard practices of using PCA for dimensionality reduction, we leverage PCA to identify significant layers in a binary network which contribute relevant transformations on the input data by increasing the number of significant dimensions. Subsequently, we propose Hybrid-Net, a network with increased bit-precision of the weights and activations of the significant layers in a binary network. We show that the proposed Hybrid-Net achieves over 10% improvement in classification accuracy over binary networks such as XNOR-Net for ResNet and VGG architectures on CIFAR-100 and ImageNet datasets while still achieving upto 94% of the energy-efficiency of XNOR-Nets. The proposed design methodology allows us to move closer to the accuracy of standard full-precision networks by keeping more than half of the network binary. This work demonstrates an effective, one-shot methodology for designing hybrid, mixed-precision networks which significantly improve the classification performance of binary networks while attaining remarkable compression. The proposed hybrid networks further the feasibility of using highly compressed neural networks for energy-efficient neural computing in IOT-based edge devices.

研究动机与目标

• 解决边缘人工智能应用中神经网络极端量化导致的性能下降问题。
• 识别二值网络中对特征变换贡献最大的层。
• 设计一种混合精度混合网络，以提升准确率，同时不牺牲模型压缩率或能效。
• 实现高度压缩的神经网络在资源受限的物联网边缘设备上的实际部署。

提出的方法

• 不将主成分分析（PCA）用于降维，而是用于识别二值网络中信息含量高的层。
• 利用 PCA 确定每一层的重要维度数量，以反映其在输入变换中的重要性。
• 根据 PCA 结果选择关键层，并将其权重和激活值升级为更高精度。
• 通过保留大部分层为二值精度，仅在最关键层中提升精度，构建 Hybrid-Net。
• 在 CIFAR-100 和 ImageNet 等标准基准上评估混合架构的准确率和能效。
• 采用一次性设计方法，在无需迭代微调的情况下确定最优精度升级方案。

实验结果

研究问题

• RQ1 在二值神经网络中，哪些层对特征表示和分类性能的贡献最为显著？
• RQ2 PCA 是否可被有效重用于识别二值网络中适合精度升级的高影响力层？
• RQ3 在不损害模型压缩率和能效的前提下，混合精度升级能在多大程度上提升准确率？
• RQ4 与全精度网络和标准二值网络相比，所提出的混合网络在准确率和效率方面表现如何？

主要发现

• Hybrid-Net 在 CIFAR-100 和 ImageNet 数据集上均实现了比 XNOR-Net 高出 10% 以上的分类准确率。
• 该方法保持了 XNOR-Net 94% 的能效，表明尽管进行了精度升级，仍具有极强的能效表现。
• 超过一半的网络保持为二值化，有效保留了显著的模型压缩率和低存储需求。
• 基于 PCA 的层选择机制实现了“一次性设计”流程，能够有效将精度升级聚焦于最具影响力的层。
• 该混合架构使二值网络的准确率更接近全精度模型，同时仍适用于边缘设备部署。