[论文解读] On Vectorization of Deep Convolutional Neural Networks for Vision Tasks

Jimmy Ren, Xu Li|arXiv (Cornell University)|Jan 29, 2015

Advanced Neural Network Applications参考文献 19被引用 30

一句话总结

本文提出了一种用于深度卷积神经网络（CNN）的系统性向量化框架，以加速各类视觉任务中的训练与推理。通过将CNN操作重新表述为矩阵与向量计算，作者在MATLAB中实现了六种向量化变体，表明训练与测试的最优小批量大小存在显著差异，并提出一个统一框架，支持高阶（如检测）与低阶（如去噪）视觉任务，且具备最先进速度表现。

ABSTRACT

We recently have witnessed many ground-breaking results in machine learning and computer vision, generated by using deep convolutional neural networks (CNN). While the success mainly stems from the large volume of training data and the deep network architectures, the vector processing hardware (e.g. GPU) undisputedly plays a vital role in modern CNN implementations to support massive computation. Though much attention was paid in the extent literature to understand the algorithmic side of deep CNN, little research was dedicated to the vectorization for scaling up CNNs. In this paper, we studied the vectorization process of key building blocks in deep CNNs, in order to better understand and facilitate parallel implementation. Key steps in training and testing deep CNNs are abstracted as matrix and vector operators, upon which parallelism can be easily achieved. We developed and compared six implementations with various degrees of vectorization with which we illustrated the impact of vectorization on the speed of model training and testing. Besides, a unified CNN framework for both high-level and low-level vision tasks is provided, along with a vectorized Matlab implementation with state-of-the-art speed performance.

研究动机与目标

• 研究不同程度的向量化对深度CNN训练与推理速度的影响。
• 开发一个统一的计算框架，支持高阶（如分类）与低阶（如去噪）视觉任务。
• 提供一种透明的、向量化的MATLAB实现（VCNN），实现高性能并便于硬件移植。
• 识别训练与测试的最优小批量大小，其显著影响运行时效率。

提出的方法

• 将核心CNN操作——卷积、池化、ReLU及全连接层——重新表述为矩阵与向量运算，以实现高效并行化。
• 实现六种不同向量化程度的CNN变体，从基础到完全优化，以比较性能权衡。
• 使用小批量处理实现跨多个输入样本的向量化，支持高效GPU式并行执行。
• 设计一种单一网络架构，通过在异构输入尺寸间共享权重，实现在不引入背景噪声的情况下高效进行多尺度目标检测。
• 通过移除池化与全连接层，将向量化框架应用于低阶视觉任务，如图像去噪与去卷积。
• 开发一种新型多目标检测训练方案，利用不同输入维度间的权重共享，提升实时多尺度检测的效率。

实验结果

研究问题

• RQ1 不同向量化程度如何影响深度CNN的训练与推理速度？
• RQ2 在深度CNN中，训练与测试的最优小批量大小是什么？其在不同网络架构间如何变化？
• RQ3 单一向量化CNN框架能否高效处理高阶视觉任务（如分类）与低阶视觉任务（如去噪）？
• RQ4 如何在单一CNN模型中有效处理异构输入尺寸，而不会引入背景噪声或需要回归方法？
• RQ5 在实时目标检测系统中，向量化矩阵运算的性能提升如何？

主要发现

• 即使针对同一网络，训练与测试的最优小批量大小也存在显著差异，直接复用训练阶段的小批量大小会导致显著的速度损失。
• 通过使用矩阵与向量原语对关键CNN操作进行向量化，可实现高度并行化，并在MATLAB实现中达到最先进速度。
• 所提出的向量化框架成功在一个统一架构中同时支持高阶任务（如多目标检测）与低阶任务（如图像去噪与去模糊）。
• 采用可变尺寸输入与层间权重共享的新型训练方案，可减少误报并提升实时多尺度检测的效率。
• 六种实现的向量化层级显示出可测量的性能差异，证实向量化策略直接影响运行时效率。
• 向量化MATLAB实现（VCNN）实现了高性能，且已公开发布，便于移植至其他平台与硬件。