[论文解读] Toolflows for Mapping Convolutional Neural Networks on FPGAs: A Survey and Future Directions

Stylianos I. Venieris, Alexandros Kouris+1 more|arXiv (Cornell University)|Mar 15, 2018

CCD and CMOS Imaging Sensors参考文献 90被引用 12

一句话总结

本文综述了卷积神经网络（CNN）到现场可编程门阵列（FPGA）的工具流，分析了其架构选择、设计空间探索及在不同框架下的性能表现。提出了一套标准化的评估方法，以实现公平比较，并指出了未来的研究方向，包括端到端的软硬件协同设计和基于FPGA的训练，以提升FPGA在深度学习流水线中的集成度。

ABSTRACT

In the past decade, Convolutional Neural Networks (CNNs) have demonstrated state-of-the-art performance in various Artificial Intelligence tasks. To accelerate the experimentation and development of CNNs, several software frameworks have been released, primarily targeting power-hungry CPUs and GPUs. In this context, reconfigurable hardware in the form of FPGAs constitutes a potential alternative platform that can be integrated in the existing deep learning ecosystem to provide a tunable balance between performance, power consumption and programmability. In this paper, a survey of the existing CNN-to-FPGA toolflows is presented, comprising a comparative study of their key characteristics which include the supported applications, architectural choices, design space exploration methods and achieved performance. Moreover, major challenges and objectives introduced by the latest trends in CNN algorithmic research are identified and presented. Finally, a uniform evaluation methodology is proposed, aiming at the comprehensive, complete and in-depth evaluation of CNN-to-FPGA toolflows.

研究动机与目标

• 解决CNN到FPGA工具流缺乏标准化评估的问题，以促进公平的性能比较。
• 识别现代CNN架构（如更深、更复杂的结构）在FPGA映射中引入的关键挑战。
• 提出一个全面的基准测试套件和评估指标，以实现对工具流性能的深入、可复现的评估。
• 探索未来研究方向，包括端到端的软硬件协同设计和基于FPGA的CNN训练，以提升FPGA在深度学习生态系统中的集成度。
• 通过支持从Caffe、PyTorch和TensorFlow等主流框架自动、高层次地映射，提升FPGA在深度学习实践中的可访问性。

提出的方法

• 对15种以上的已发表CNN到FPGA工具流进行对比分析，评估其支持的框架、支持的网络类型以及映射技术。
• 根据接口（如Caffe、Torch、PyTorch）、抽象层次（HLS与高级生成器）以及设计空间探索策略对工具流进行分类。
• 提出一种基于包含多样化CNN模型和FPGA平台的基准测试套件的统一评估方法，测量吞吐量、延迟、功耗和资源利用率。
• 引入一种框架无关的评估流水线，以处理来自多个深度学习框架（如TensorFlow、MXNet、CoreML）的中间表示（IR），实现一致的FPGA映射。
• 定义如每秒乘加操作数（MAC operations per second）、能效比和资源利用率比率等性能指标，以支持跨工具流的比较。
• 倡导在训练循环中集成硬件感知优化，实现网络拓扑、精度和FPGA资源分配的联合优化。

实验结果

研究问题

• RQ1 现有CNN到FPGA工具流在支持的框架、映射技术及性能特征方面，其关键差异和权衡是什么？
• RQ2 为何当前CNN到FPGA工具流的评估方法无法实现跨平台的公平且全面的比较？
• RQ3 如何设计一个标准化的基准测试套件和评估框架，以实现对基于FPGA的CNN加速器的可复现且全面的评估？
• RQ4 将现代复杂CNN（如ResNet、DenseNet）映射到FPGA面临的主要挑战是什么？工具流如何应对这些挑战？
• RQ5 未来的研究方向（如端到端协同设计或基于FPGA的训练）如何能显著提升FPGA在深度学习工作流中的集成？

主要发现

• 该综述识别出15种以上的CNN到FPGA工具流，其中多数针对Caffe或Torch，且在支持的网络类型和优化策略方面存在显著差异。
• 现有评估方法不一致且不完整，常忽略内存带宽和资源利用率，限制了可靠性能比较。
• 高级综合（HLS）工具（如Vivado HLS）和基于OpenCL的流程被广泛使用，但缺乏针对CNN特定数据流模式的应用感知优化。
• fpgaConvNet、DnnWeaver和Caffeine等工具流相较于CPU基线，吞吐量最高可提升10倍，能效比相较GPU提升2至5倍。
• 所提出的基准测试套件实现了在多样化CNN（如AlexNet、VGG、ResNet）和FPGA平台（如Xilinx Zynq、Intel Arria）上的标准化评估，揭示了显著的性能差异。
• 未来方向如软硬件协同设计和基于FPGA的训练研究尚不充分，仅有初步工作被报道，表明存在重大研究空白。