[论文解读] PC-DARTS: Partial Channel Connections for Memory-Efficient Architecture Search

Yuhui Xu, Lingxi Xie+5 more|arXiv (Cornell University)|Jul 12, 2019

Advanced Neural Network Applications参考文献 43被引用 389

一句话总结

PC-DARTS 在 differentiable NAS 中通过对通道进行采样并加入边归一化来减少内存和计算，在 CIFAR-10 上实现 0.1 GPU-days 的 2.57% 错误率，在 ImageNet（移动端）上用 3.8 GPU-days 实现 24.2% 的 top-1。

ABSTRACT

Differentiable architecture search (DARTS) provided a fast solution in finding effective network architectures, but suffered from large memory and computing overheads in jointly training a super-network and searching for an optimal architecture. In this paper, we present a novel approach, namely, Partially-Connected DARTS, by sampling a small part of super-network to reduce the redundancy in exploring the network space, thereby performing a more efficient search without comprising the performance. In particular, we perform operation search in a subset of channels while bypassing the held out part in a shortcut. This strategy may suffer from an undesired inconsistency on selecting the edges of super-net caused by sampling different channels. We alleviate it using edge normalization, which adds a new set of edge-level parameters to reduce uncertainty in search. Thanks to the reduced memory cost, PC-DARTS can be trained with a larger batch size and, consequently, enjoys both faster speed and higher training stability. Experimental results demonstrate the effectiveness of the proposed method. Specifically, we achieve an error rate of 2.57% on CIFAR10 with merely 0.1 GPU-days for architecture search, and a state-of-the-art top-1 error rate of 24.2% on ImageNet (under the mobile setting) using 3.8 GPU-days for search. Our code has been made available at: https://github.com/yuhuixu1993/PC-DARTS.

研究动机与目标

• 积极动机在可微分架构搜索（DARTS）中降低内存和计算开销。
• 引入部分通道连接方案，在搜索过程中降低内存使用。
• 提出边归一化以在通道采样下稳定架构选择。
• 在 CIFAR-10 和 ImageNet 上展示效果，包括直接在 ImageNet 上进行搜索。

提出的方法

• 在子集通道上进行运算搜索（通道的1/K），其余通道通过快捷连接绕过，从而将内存大约降低 K 倍。
• 引入边级参数 beta_{i,j} 来归一化边的贡献并在采样通道间稳定选择。
• 通过堆叠归一化后的边权和操作权，将通道采样的运算输出与常规 DARTS 公式相结合。
• 通过打乱通道以维持效率，提供对 GPU友好的实现。
• 在搜索过程中允许更大的批量大小，以提高速度和稳定性。
• 使用标准的 DARTS 搜索空间进行评估，包含八个候选操作（如可分离卷积、扩张卷积、池化、跳跃连接、零等）。

实验结果

研究问题

• RQ1 部分通道连接是否能够降低内存并在不牺牲准确性的前提下实现更大的批量大小？
• RQ2 在架构搜索中使用通道采样时，边归一化是否能稳定边的选择？
• RQ3 与 DARTS 及其他 NAS 方法相比，PC-DARTS 的变体在 CIFAR-10 和 ImageNet 上的表现如何？
• RQ4 在内存高效的 NAS 下直接进行 ImageNet 搜索是否可行，得到的架构和精度是多少？

主要发现

• PC-DARTS 在 0.1 GPU-days 的搜索时间内，在 CIFAR-10 上实现 2.57% 的错误率。
• PC-DARTS 在 ImageNet（移动端设置）上实现 24.2% 的 top-1 错误，搜索时间为 3.8 GPU-days。
• 通道采样将内存降低约 K×，并在 CIFAR-10 实验中实现了 4× 更大的批量大小。
• 边归一化稳定化架构搜索并在多次运行与超参数变化中提高鲁棒性。
• 在 CIFAR-10 上，PC-DARTS 的误差率为 2.57% ，优于 DARTS 基线的 2.76%；并且在 DARTS 不稳定的情况下实现了直接 ImageNet 搜索。
• 该方法支持高效、内存友好型的 NAS，具有具竞争力或更高的准确性以及更快的搜索时间。