[论文解读] Structured Convolution Matrices for Energy-efficient Deep learning

Rathinakumar Appuswamy, Tapan K. Nayak+7 more|arXiv (Cornell University)|Jun 8, 2016

Neural Networks and Applications参考文献 52被引用 10

一句话总结

本文提出基于块托普利茨形式的结构化卷积矩阵，以实现在神经形态硬件（尤其是IBM的TrueNorth架构）上的能效型深度学习。通过建立离散卷积与TrueNorth权重表示之间的数学联系，作者采用一种新颖的基于噪声的训练方法，训练二值化激活网络，提升收敛性，并在仅使用13,216个TrueNorth核心的情况下，于CIFAR-10上实现87.5%的准确率，较先前方法减少50%以上。

ABSTRACT

We derive a relationship between network representation in energy-efficient neuromorphic architectures and block Toplitz convolutional matrices. Inspired by this connection, we develop deep convolutional networks using a family of structured convolutional matrices and achieve state-of-the-art trade-off between energy efficiency and classification accuracy for well-known image recognition tasks. We also put forward a novel method to train binary convolutional networks by utilising an existing connection between noisy-rectified linear units and binary activations.

研究动机与目标

• 开发一组原生映射至能效型神经形态硬件（如IBM的TrueNorth）的结构化卷积矩阵。
• 实现二值化激活卷积网络的稳定梯度与快速收敛训练。
• 减少实现最先进图像识别准确率所需的神经形态核心数量。
• 建立一种硬件感知的训练框架，生成可直接部署于低功耗平台的网络。

提出的方法

• 推导出块托普利茨矩阵与TrueNorth突触交叉阵列架构中所用权重表示方案之间的数学等价性。
• 提出一种新颖的训练方法，利用带噪声的修正线性单元（噪声ReLUs）来近似二值化神经元激活，从而实现精确的梯度反向传播。
• 采用参数化的结构化矩阵族，其中卷积核通过一组少量基础值与移位算子生成。
• 在训练过程中应用带核结构约束的随机梯度下降，以保持硬件效率。
• 使用强度函数和输入类型索引，将学习到的核映射至TrueNorth的4项查找表以表示突触权重。
• 证明核结构可由四个不同值及两个可交换的移位算子唯一重构。

实验结果

研究问题

• RQ1 能否推导出与神经形态硬件（如TrueNorth）权重表示相匹配的结构化卷积矩阵？
• RQ2 当梯度在阈值处不可微时，如何有效训练二值化激活网络？
• RQ3 使用结构化核实现高精度图像识别任务所需的最少神经形态核心数量是多少？
• RQ4 能否利用噪声ReLUs与二值化神经元之间的等价性，以提升训练稳定性和收敛性？

主要发现

• 所提出的结构化卷积矩阵仅使用13,216个TrueNorth核心，即在CIFAR-10上实现87.5%的top-1准确率，较先前最先进水平（31,872个核心）减少58%。
• 通过利用噪声ReLUs与确定性阈值神经元之间的等价性，该方法实现了二值化激活网络的端到端训练，且梯度稳定。
• 核结构完全由四个基础值和两个可交换的移位算子决定，实现了紧凑且硬件高效的表示。
• 所推导的矩阵族与块托普利茨矩阵同构，确保与离散卷积运算的兼容性。
• 采用噪声ReLUs的训练过程可产生准确的梯度估计，加速收敛并提升模型性能。
• 该方法表明，可通过算法设计与硬件约束的协同优化，实现更优的能效表现。