[论文解读] PLiNIO: A User-Friendly Library of Gradient-based Methods for Complexity-aware DNN Optimization

Daniele Jahier Pagliari, Matteo Risso+2 more|arXiv (Cornell University)|Jul 18, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

PLiNIO 是一个开源的、用户友好的 PyTorch 库，可实现深度神经网络在边缘设备上部署的自动化梯度优化。它统一了粗粒度和细粒度神经架构搜索（NAS）以及可微分混合精度量化（MPS），与基线模型相比，内存减少高达 94.34%，准确率仅下降 0.92%。

ABSTRACT

Accurate yet efficient Deep Neural Networks (DNNs) are in high demand, especially for applications that require their execution on constrained edge devices. Finding such DNNs in a reasonable time for new applications requires automated optimization pipelines since the huge space of hyper-parameter combinations is impossible to explore extensively by hand. In this work, we propose PLiNIO, an open-source library implementing a comprehensive set of state-of-the-art DNN design automation techniques, all based on lightweight gradient-based optimization, under a unified and user-friendly interface. With experiments on several edge-relevant tasks, we show that combining the various optimizations available in PLiNIO leads to rich sets of solutions that Pareto-dominate the considered baselines in terms of accuracy vs model size. Noteworthy, PLiNIO achieves up to 94.34% memory reduction for a <1% accuracy drop compared to a baseline architecture.

研究动机与目标

• 为解决在边缘部署中手动探索庞大超参数空间的挑战。
• 提供一个统一、易用的接口，用于最先进的基于梯度的自动化机器学习技术，包括 NAS 和混合精度量化。
• 为面向资源受限硬件的 DNN 实现高效、复杂度感知的设计空间探索（DSE）。
• 支持即插即用式集成到现有 PyTorch 工作流中，无需掌握 NAS 或量化技术的专业知识。
• 证明顺序应用多种基于梯度的优化技术，可在准确率与内存占用的权衡中生成帕累托最优模型。

提出的方法

• PLiNIO 采用基于 SuperNet 的粗粒度 NAS，通过可微分架构搜索在不同层类型和配置中进行搜索。
• 采用可微分架构搜索（DARTS 风格）实现细粒度 NAS，以优化每层的超参数（如通道数）。
• 该库集成了可微分混合精度搜索（MPS）方法，通过对称最小最大量化和 PaCT 实现动态范围调整，联合优化权重和激活的位宽。
• 所有优化均通过统一的、与 PyTorch 兼容的 API 暴露，支持无缝集成到标准训练流程中。
• 该框架支持顺序应用 NAS 和 MPS，实现逐步模型压缩，同时保持性能。
• PLiNIO 的内部设计具有可扩展性，支持未来集成更多基于梯度的优化技术。

Figure 2: SuperNet implementation in PLiNIO.

实验结果

研究问题

• RQ1 一个统一的、用户友好的库能否简化基于梯度的 DNN 优化技术在边缘部署中的应用？
• RQ2 粗粒度 NAS、细粒度 NAS 和混合精度量化顺序应用，在最小化准确率损失的前提下，对模型大小的减少效果如何？
• RQ3 基于梯度的方法在边缘相关任务中，能在多大程度上实现准确率与模型内存占用之间的帕累托最优权衡？
• RQ4 在内存减少和准确率方面，PLiNIO 的性能与基线模型及单一优化技术相比如何？
• RQ5 PLiNIO 是否能有效应用于真实世界的边缘工作负载，而无需对自动化机器学习或量化技术有深入专业知识？

主要发现

• 在 ICL 基准测试中，先应用 SuperNet 再应用 PIT（细粒度 NAS）使模型内存减少 74.68%，同时保持 84.93% 的准确率。
• 在 ICL 数据集中，顺序应用 SuperNet、PIT 和 MPS 实现了内存使用量减少 94.34%（从 302.19 kB 降至 17.09 kB），准确率仅下降 0.92%。
• 在 VWW 基准测试中，顺序优化在 80–83% 准确率范围内新增了四个帕累托最优模型，表明对设计空间的探索能力得到提升。
• 最准确的量化模型实现了 83.11% 的准确率，相比原始基线模型（84.03%）内存减少 94.34%，采用 8 位权重和激活，同时选择性地使用 4 位精度。
• 将 MPS 应用于先前优化得到的最小帕累托最优模型，与 MPS 步骤的输入相比，内存减少了 77.66%，准确率损失为 1.82%。
• 每次 MPS 优化周期耗时为标准训练周期的 4.3 倍，但生成的模型实现了显著压缩，且准确率退化极小。

Figure 3: PIT channel-masking implementation in PLiNIO.