[论文解读] ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradients Accumulation
ROME 提出了一种稳健且内存高效的神经架构搜索方法，通过参数解耦将拓扑结构与操作解耦，并利用梯度累积来降低采样方差，从而解决了单路径可微 NAS 中的不稳定性问题。该方法在多个基准测试中实现了最先进性能，同时提升了搜索的稳定性和一致性。
Single-path based differentiable neural architecture search has great strengths for its low computational cost and memory-friendly nature. However, we surprisingly discover that it suffers from severe searching instability which has been primarily ignored, posing a potential weakness for a wider application. In this paper, we delve into its performance collapse issue and propose a new algorithm called RObustifying Memory-Efficient NAS (ROME). Specifically, 1) for consistent topology in the search and evaluation stage, we involve separate parameters to disentangle the topology from the operations of the architecture. In such a way, we can independently sample connections and operations without interference; 2) to discount sampling unfairness and variance, we enforce fair sampling for weight update and apply a gradient accumulation mechanism for architecture parameters. Extensive experiments demonstrate that our proposed method has strong performance and robustness, where it mostly achieves state-of-the-art results on a large number of standard benchmarks.
研究动机与目标
- 为解决单路径可微 NAS 中被忽视的搜索不稳定性问题，尽管其内存使用量较低，但该问题影响了其可靠性。
- 通过将连接和操作参数解耦，确保搜索阶段与评估阶段的架构拓扑保持一致。
- 降低架构优化过程中权重更新的采样方差和不公平性。
- 通过梯度累积和拓扑结构解耦，提升内存高效 NAS 的鲁棒性和性能一致性。
提出的方法
- 引入独立参数，将架构的拓扑结构（连接）与操作解耦，实现连接与操作的独立采样。
- 采用梯度累积机制，通过在多个采样步骤中平均梯度，稳定架构参数的更新。
- 通过均匀分配更新至不同连接配置，实现架构参数的公平采样。
- 保持单路径搜索路径以维持内存效率，同时通过架构解耦提升稳定性。
- 使用可微搜索与基于梯度的优化，但修改更新过程以降低架构参数更新中的方差和偏差。
实验结果
研究问题
- RQ1单路径 NAS 中的拓扑纠缠如何导致搜索不稳定性？
- RQ2连接与操作之间的参数解耦能否提升搜索的一致性？
- RQ3梯度累积在多大程度上减少了架构参数更新中的采样方差？
- RQ4与现有内存高效 NAS 方法相比，所提出方法是否实现了更好的性能和鲁棒性？
主要发现
- ROME 在一系列标准基准测试中实现了最先进性能，展现出卓越的搜索稳定性和一致性。
- 该方法显著降低了由单路径 NAS 中拓扑与操作纠缠引起的搜索不稳定性。
- 梯度累积有效缓解了采样方差，并改善了架构参数更新的公平性。
- 拓扑结构解耦实现了连接与操作的独立采样，无相互干扰，从而增强了训练稳定性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。