[论文解读] VINNAS: Variational Inference-based Neural Network Architecture Search

Martin Ferianc, Hongxiang Fan+1 more|arXiv (Cornell University)|Jul 12, 2020

Advanced Neural Network Applications参考文献 44被引用 6

一句话总结

VINNAS 提出了一种基于变分推断和变分 dropout 的可微神经架构搜索方法，采用自动相关性确定（ARD）先验，自动剪枝超图中的冗余操作和连接。该方法在 CIFAR-10 上实现了最先进（SOTA）的准确率，参数量减少高达 2 倍，同时通过促进稀疏且多样的架构设计，避免了模式崩溃。

ABSTRACT

In recent years, neural architecture search (NAS) has received intensive scientific and industrial interest due to its capability of finding a neural architecture with high accuracy for various artificial intelligence tasks such as image classification or object detection. In particular, gradient-based NAS approaches have become one of the more popular approaches thanks to their computational efficiency during the search. However, these methods often experience a mode collapse, where the quality of the found architectures is poor due to the algorithm resorting to choosing a single operation type for the entire network, or stagnating at a local minima for various datasets or search spaces. To address these defects, we present a differentiable variational inference-based NAS method for searching sparse convolutional neural networks. Our approach finds the optimal neural architecture by dropping out candidate operations in an over-parameterised supergraph using variational dropout with automatic relevance determination prior, which makes the algorithm gradually remove unnecessary operations and connections without risking mode collapse. The evaluation is conducted through searching two types of convolutional cells that shape the neural network for classifying different image datasets. Our method finds diverse network cells, while showing state-of-the-art accuracy with up to almost 2 times fewer non-zero parameters.

研究动机与目标

• 解决基于梯度的神经架构搜索（NAS）方法中存在的模式崩溃和泛化能力差的问题。
• 实现无需人工干预的自动、可微架构搜索，自动剪枝无关的操作和连接。
• 通过使用变分推断对操作相关性进行概率建模，提升搜索效率和多样性。
• 在严格正则化下，实现图像分类基准上的最先进准确率，同时最小化模型参数量。
• 探索利用不确定性估计（通过对数方差）与幅度结合，实现更鲁棒的操作选择。

提出的方法

• VINNAS 使用变分推断框架，将操作权重及其相关性建模为可学习的随机变量。
• 采用带有 ARD 先验的变分 dropout，以促进对不相关操作和连接的自动剪枝。
• 使用自定义的自动正则化损失，以在搜索过程中促进探索，同时保持对所选操作的高置信度。
• 在包含所有候选操作的超图上执行搜索，通过反向传播学习可微的架构参数（α）。
• 在基于单元的 CNN 上进行架构搜索，通过复制正常单元和缩减单元构建完整网络。
• 搜索完成后，使用标准数据增强、随机深度（drop-path）和辅助塔对架构进行微调，以提升泛化能力。

实验结果

研究问题

• RQ1 基于 ARD 先验的变分推断能否有效防止基于梯度的 NAS 中的模式崩溃？
• RQ2 操作权重的不确定性是否能超越基于幅度的选择，进一步提升架构搜索性能？
• RQ3 所提方法是否能在显著减少参数量的同时实现最先进准确率？
• RQ4 该方法在 MNIST、FashionMNIST 和 CIFAR-10 等多样化数据集上是否具备良好泛化能力？
• RQ5 该方法能否在无手动架构偏置的情况下，自动发现多样且稀疏的架构？

主要发现

• VINNAS 在 CIFAR-10 上实现了最先进测试准确率，同时将非零参数量减少了近 2 倍，优于 SOTA 方法。
• 该方法成功避免了模式崩溃，生成的架构包含多样化的操作类型，而非所有单元中使用相同操作。
• 在 MNIST 上，模型识别出某些连接的信噪比（SNR）较低但为正，表明这些连接可安全剪枝，反映出该数据集易于泛化。
• 在 CIFAR-10 上，所有操作和连接均表现出高推断重要性，表明发现了丰富且复杂的架构。
• 在幅度之外引入不确定性（对数方差）对操作选择性能有轻微提升。
• 所有发现的架构在微调后均表现出强泛化能力，所有数据集上测试准确率均较高。