[论文解读] ShiftAddNAS: Hardware-Inspired Search for More Accurate and Efficient Neural Networks

Haoran You, Baopu Li+3 more|arXiv (Cornell University)|May 17, 2022

Advanced Neural Network Applications被引用 5

一句话总结

ShiftAddNAS 提出了一种新颖的神经架构搜索框架，通过在统一的混合搜索空间中整合基于乘法的（例如卷积、注意力）和无乘法的算子（例如位移、加法），联合优化准确率与效率。它引入了一种异构参数共享策略，可适配不同权重分布（卷积使用高斯分布，加法器使用拉普拉斯分布），在几乎不增加主网络规模的前提下实现高效搜索，相比最先进方法，准确率最高提升 7.7%，能效提升达 93%。

ABSTRACT

Neural networks (NNs) with intensive multiplications (e.g., convolutions and transformers) are capable yet power hungry, impeding their more extensive deployment into resource-constrained devices. As such, multiplication-free networks, which follow a common practice in energy-efficient hardware implementation to parameterize NNs with more efficient operators (e.g., bitwise shifts and additions), have gained growing attention. However, multiplication-free networks usually under-perform their vanilla counterparts in terms of the achieved accuracy. To this end, this work advocates hybrid NNs that consist of both powerful yet costly multiplications and efficient yet less powerful operators for marrying the best of both worlds, and proposes ShiftAddNAS, which can automatically search for more accurate and more efficient NNs. Our ShiftAddNAS highlights two enablers. Specifically, it integrates (1) the first hybrid search space that incorporates both multiplication-based and multiplication-free operators for facilitating the development of both accurate and efficient hybrid NNs; and (2) a novel weight sharing strategy that enables effective weight sharing among different operators that follow heterogeneous distributions (e.g., Gaussian for convolutions vs. Laplacian for add operators) and simultaneously leads to a largely reduced supernet size and much better searched networks. Extensive experiments and ablation studies on various models, datasets, and tasks consistently validate the efficacy of ShiftAddNAS, e.g., achieving up to a +7.7% higher accuracy or a +4.9 better BLEU score compared to state-of-the-art NN, while leading to up to 93% or 69% energy and latency savings, respectively. Codes and pretrained models are available at https://github.com/RICE-EIC/ShiftAddNAS.

研究动机与目标

• 解决资源受限边缘设备中模型准确率与硬件效率之间的权衡问题。
• 克服现有 NAS 方法仅关注基于乘法或无乘法网络的局限性。
• 构建一个支持强大乘法运算与高效移位-加法操作的混合搜索空间，以实现性能与效率的平衡。
• 设计一种能有效处理不同类型算子间异质权重分布（如卷积的高斯分布与加法器的拉普拉斯分布）的参数共享策略。
• 实现自动搜索，获得在计算机视觉与自然语言处理任务中同时具备高准确率与低能耗/低延迟的神经架构。

提出的方法

• 提出一种新颖的混合搜索空间，包含基于乘法的算子（如标准卷积、自注意力）和无乘法算子（如移位与加法层），用于联合架构搜索。
• 提出一种异构参数共享（HWS）策略，可在具有不同权重分布的算子之间实现有效参数共享，避免简单参数共享导致的性能下降。
• 在主网络训练过程中引入知识蒸馏损失（KL 散度），对齐卷积层与加法器层的权重分布，提升搜索一致性。
• 应用 HWS 策略将主网络规模降低 41%（从 615M 降至 364M 参数），显著降低搜索成本。
• 采用标准的 NAS 训练流程，结合渐进式剪枝与早停策略，高效探索扩展后的搜索空间。
• 在 ImageNet 与 CIFAR 基准上验证该框架，并将其与 FBNet 和 BossNAS 等现有 NAS 基线方法集成，用于消融实验与对比分析。

实验结果

研究问题

• RQ1 统一的 NAS 框架能否有效搜索出结合基于乘法与无乘法算子的混合神经架构，从而实现更优的准确率与效率权衡？
• RQ2 如何在根本上不同的权重分布（如卷积的高斯分布与加法器的拉普拉斯分布）之间有效应用参数共享，而不造成性能下降？
• RQ3 所提出的异构参数共享策略是否能在保持或提升架构排序一致性的同时，减少主网络规模与搜索成本？
• RQ4 与纯基于乘法或纯无乘法的搜索空间相比，该混合搜索空间在准确率与效率方面表现如何？
• RQ5 ShiftAddNAS 在计算机视觉与自然语言处理任务中，相较于最先进 NAS 方法与人工设计模型，性能提升程度如何？

主要发现

• 在相同 FLOPs 约束下，ShiftAddNAS 在 ImageNet 上的 Top-1 准确率最高比最强的 SOTA 基线高出 7.7%。
• 与 SOTA 模型相比，该框架实现了最高 93% 的能效节省与 69% 的延迟降低，展现出强大的硬件效率。
• 异构参数共享（HWS）策略将主网络规模减少 41%（从 615M 降至 364M 参数），显著降低搜索成本。
• HWS 提升了排序相关性（Kendall τ: 0.54 vs. 0.49），并在 ImageNet 上相比简单参数共享实现 1.4% 的准确率增益。
• 在 CIFAR-10 与 CIFAR-100 上，ShiftAddNAS 分别比 FBNet 实现 +0.74% 与 +0.58% 的准确率增益，同时延迟降低 33.8% 与 38.6%。
• 消融实验表明，包含注意力、卷积、移位与加法的完整混合搜索空间优于所有变体，证明了整合所有算子类型的必要性。