[论文解读] Neural Network Libraries: A Deep Learning Framework Designed from Engineers' Perspectives

Takuya Narihira, Alonsogarcia, Javier+15 more|arXiv (Cornell University)|Feb 12, 2021

Anomaly Detection Techniques and Applications参考文献 30被引用 5

一句话总结

Neural Network Libraries (NNL) 是一个专为工程师设计的深度学习框架，通过灵活的网络构建、同时支持静态和动态计算图，以及与基于图形界面的 Neural Network Console 的无缝集成，强调易用性和跨框架兼容性。它支持高效的模型开发、分布式训练，并与主流框架保持兼容，通过高速推理和对生成对抗网络（GANs）及 ResNet-152 等前沿模型的支持得到验证。

ABSTRACT

While there exist a plethora of deep learning tools and frameworks, the fast-growing complexity of the field brings new demands and challenges, such as more flexible network design, speedy computation on distributed setting, and compatibility between different tools. In this paper, we introduce Neural Network Libraries (https://nnabla.org), a deep learning framework designed from engineer's perspective, with emphasis on usability and compatibility as its core design principles. We elaborate on each of our design principles and its merits, and validate our attempts via experiments.

研究动机与目标

• 为应对深度学习日益增长的复杂性，从工程视角出发，设计一个注重易用性和兼容性的框架。
• 通过简洁直观的神经网络构建方式以及在分布式系统上的高效计算，减少开发时间。
• 实现与其他深度学习框架的无缝互操作性，防止工具碎片化，并加速创新共享。
• 通过基于图形界面的开发和预训练生成模型的交互式演示，提升非专家用户的可及性。
• 通过插件可扩展性，支持自动神经架构搜索和可解释人工智能（XAI）等高级用例。

提出的方法

• 该框架使用三个核心组件：用于数据和梯度的 Variables，用于数学运算的 Functions，以及用于可学习层的 Parametric Functions。
• 支持静态和动态计算图，允许灵活的网络定义和高效执行。
• 用户通过按顺序堆叠层来定义网络，前向和反向传播通过在输出变量上调用方法自动处理。
• 框架通过参数服务器和数据并行策略，支持在多张 GPU 和多台机器上进行分布式训练。
• 提供基于 Python 的插件系统以扩展功能，包括对 Grad-CAM、LIME 和 SGD 影响力等 XAI 技术的支持。
• Neural Network Console (NNC) 提供图形界面，用于可视化网络设计、训练和推理，通过 .nntxt 文件的导入/导出实现与 NNL 的双向兼容。

实验结果

研究问题

• RQ1 如何设计一个深度学习框架，使其在不牺牲灵活性的前提下优先考虑工程易用性？
• RQ2 统一框架在多大程度上能提升现有深度学习工具之间的兼容性并减少碎片化？
• RQ3 混合静态/动态图系统是否能有效同时支持快速原型设计和高性能推理？
• RQ4 将基于图形界面的开发与程序化框架结合，在多大程度上能加速模型开发与部署？
• RQ5 自动神经架构搜索和 XAI 插件支持是否能显著提升模型优化与可解释性的效率？

主要发现

• Neural Network Libraries 实现了简洁、可读的模型定义，代码冗余极少，显著减少了开发时间并提升了可维护性。
• 该框架实现了高速推理与训练性能，在分布式环境中支持复杂模型如 ResNet-152 和 GANs。
• NNL 与 Neural Network Console 之间的双向兼容性，使用户能够通过图形界面验证和分析程序化构建的模型。
• 插件系统实现了 Grad-CAM、LIME 和 SGD 影响力等高级技术的无缝集成，显著增强了模型可解释性。
• Google Colab 上的交互式演示提供了对前沿生成模型（如 StyleGAN2 和 CycleGAN）的便捷访问，无需本地 GPU 支持。
• NNC 中的自动神经架构搜索功能可高效探索准确率与复杂度之间的权衡，显著加速嵌入式系统中的模型开发。