[论文解读] Rethinking Differentiable Search for Mixed-Precision Neural Networks

Zhaowei Cai, Nuno Vasconcelos|arXiv (Cornell University)|Apr 13, 2020

Advanced Neural Network Applications参考文献 39被引用 11

一句话总结

该论文提出 EdMIPS，一种用于混合精度神经网络的高效可微搜索框架，可在 ImageNet 上对 Inception-V3 等大模型实现直接、无代理的搜索。通过采用约束拉格朗日优化、单次遍历训练策略以及高效的复合卷积，EdMIPS 在保持训练复杂度恒定（无论搜索空间大小）的同时，实现了优于统一低精度基线的优越准确率。

ABSTRACT

Low-precision networks, with weights and activations quantized to low bit-width, are widely used to accelerate inference on edge devices. However, current solutions are uniform, using identical bit-width for all filters. This fails to account for the different sensitivities of different filters and is suboptimal. Mixed-precision networks address this problem, by tuning the bit-width to individual filter requirements. In this work, the problem of optimal mixed-precision network search (MPS) is considered. To circumvent its difficulties of discrete search space and combinatorial optimization, a new differentiable search architecture is proposed, with several novel contributions to advance the efficiency by leveraging the unique properties of the MPS problem. The resulting Efficient differentiable MIxed-Precision network Search (EdMIPS) method is effective at finding the optimal bit allocation for multiple popular networks, and can search a large model, e.g. Inception-V3, directly on ImageNet without proxy task in a reasonable amount of time. The learned mixed-precision networks significantly outperform their uniform counterparts.

研究动机与目标

• 为解决统一低精度网络性能不佳的问题，即尽管滤波器敏感度不同，仍对所有滤波器采用相同位宽。
• 开发一种无需依赖 CIFAR-10 等代理任务的可微混合精度网络搜索方法，因为这些代理任务因数据分布和层重要性差异而无效。
• 通过拉格朗日松弛引入复杂度预算，避免始终选择最高位宽的平凡解。
• 通过用高效复合卷积替代并行卷积，降低混合精度搜索的训练成本，实现与搜索空间大小无关的恒定复杂度。
• 实现在合理时间和内存约束下，对 Inception-V3 和 ResNet-50 等大模型在 ImageNet 上的直接搜索。

提出的方法

• 提出一种受 DARTS 启发的可微架构搜索模块，支持跨层位宽分配的端到端优化。
• 引入拉格朗日公式以平衡准确率与复杂度，防止始终选择最高位宽的平凡解。
• 采用单次前向-反向传播联合优化架构与网络权重，避免昂贵的二阶双层优化。
• 用基于共享权重张量加权和的复合卷积替代并行卷积，确保训练复杂度与搜索空间大小无关。
• 采用多项式采样进行架构搜索，相比类别采样可降低准确率方差。
• 采用单次遍历优化策略，实现与交替优化相当的性能，但训练成本减半。

实验结果

研究问题

• RQ1 能否设计一种用于混合精度网络的可微搜索框架，以消除对 CIFAR-10 等代理任务的需求？
• RQ2 在混合精度搜索中，如何避免选择最高位宽的平凡解？
• RQ3 能否使混合精度搜索的训练成本在候选位宽数量变化时保持恒定？
• RQ4 架构采样策略（类别采样 vs. 多项式采样）对搜索稳定性和性能有何影响？
• RQ5 所提方法在直接在 ImageNet 上训练时，对 Inception-V3 和 ResNet-50 等大模型的可扩展性如何？

主要发现

• EdMIPS 在多个网络上达到最先进性能，GoogLeNet 上的 2-bit EdMIPS 模型在 top-1 准确率上比全精度基线高出 3.0%。
• AlexNet 上的 2-bit EdMIPS 模型准确率与全精度模型相当，展现出高效率与高有效性。
• 对于 ResNet-18，EdMIPS 在与 2-bit 统一基线相似的 BitOps 下实现 65.9% 的 top-1 准确率，优于统一 LQ-Net 的 64.9%。
• 在 ImageNet 上对 Inception-V3 的搜索耗时 8 GPU 天，仅比 2-bit 统一 ResNet-18 的训练成本高约 45%。
• 高效复合卷积使模型大小减少近四倍，计算与内存使用量分别减少 30-50% 和 20-40%，相比原始并行卷积。
• 单次遍历优化策略实现与交替优化相当的性能，但训练复杂度减半。