[论文解读] Noisy Differentiable Architecture Search

Xiangxiang Chu, Bo Zhang|arXiv (Cornell University)|May 7, 2020

Semantic Web and Ontologies参考文献 61被引用 37

一句话总结

NoisyDARTS 在 differentiable architecture search 过程中对跳连结注入无偏高斯噪声，以抑制跳路径的不公平优势，平滑损失景观，并在降低搜索成本的同时实现最先进的 NAS 结果。

ABSTRACT

Simplicity is the ultimate sophistication. Differentiable Architecture Search (DARTS) has now become one of the mainstream paradigms of neural architecture search. However, it largely suffers from the well-known performance collapse issue due to the aggregation of skip connections. It is thought to have overly benefited from the residual structure which accelerates the information flow. To weaken this impact, we propose to inject unbiased random noise to impede the flow. We name this novel approach NoisyDARTS. In effect, a network optimizer should perceive this difficulty at each training step and refrain from overshooting, especially on skip connections. In the long run, since we add no bias to the gradient in terms of expectation, it is still likely to converge to the right solution area. We also prove that the injected noise plays a role in smoothing the loss landscape, which makes the optimization easier. Our method features extreme simplicity and acts as a new strong baseline. We perform extensive experiments across various search spaces, datasets, and tasks, where we robustly achieve state-of-the-art results. Our code is available at https://github.com/xiaomi-automl/NoisyDARTS.

研究动机与目标

• 动机并解决 Differentiable Architecture Search (DARTS) 中因过度依赖跳连结而导致的性能崩溃。
• 提出一种简单的、无偏的噪声注入策略，以正则化梯度流并稳定架构搜索。
• 从理论上证明无偏噪声设计及其对损失景观平滑的影响。
• 在多个搜索空间、数据集和任务上对 NoisyDARTS 进行实证验证，在降低搜索成本的同时实现最先进的结果。

提出的方法

• 在跳连接的输出中注入加性高斯噪声（OFS: Only For Skip；也有更广义的 NFA: Noise For All 的选项）以正则化候选操作之间的梯度流。
• 将噪声公式化为 z ~ N(μ, σ^2) 加到中间特征上，以确保 E[z] = 0，从而获得无偏梯度。
• 保持原始基于 softmax 的架构权重 α 以及 DARTS 优化框架，使搜索目标保持为：在 α 和 w 上最小化验证损失。
• 推导注入噪声的设计原则：无偏性至关重要，方差 σ^2 控制探索与正则化强度，噪声类型在很大程度上是可互换的。
• 提供理论直觉，表明噪声可以平滑损失景观，通过对带噪的目标函数进行二阶展开近似，从而偏向更有可能获胜的操作。

实验结果

研究问题

• RQ1 注入跳连结的无偏加性噪声是否能缓解 DARTS 中跳路径的不成比例优势？
• RQ2 NoisyDARTS 是否能够在不同的搜索空间和数据集上实现鲁棒且最先进的 NAS 性能，同时降低搜索成本？
• RQ3 注入噪声的无偏性与方差如何影响优化动态和最终架构质量？
• RQ4 将 NoisyDARTS 应用于简化/鲁棒的搜索空间，相较于标准 DARTS 变体，是否有效？
• RQ5 在效率和性能方面，NoisyDARTS 相对于其他噪声正则化方法（如 SDARTS）表现如何？

主要发现

• NoisyDARTS 消除了跳连接的不公平优势，防止崩溃并使模型具备竞争力。
• 在多个基准和空间中，NoisyDARTS 以显著更低的搜索成本实现了比 RobustDARTS 更先进的结果。
• 使用零均值的无偏噪声在 CIFAR-10 和 ImageNet 评估中都带来稳健的性能提升。
• 与带偏差的噪声（或类似 dropout 的替代方法）相比，无偏噪声在缓解梯度偏差和提升搜索稳定性方面始终优于对手。
• 消融研究表明，无偏、零均值噪声是必要的；有偏噪声会降低性能并可能误导优化。