[论文解读] Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution

Yan Wu, Zhiwu Huang+4 more|arXiv (Cornell University)|Jan 17, 2021

Advanced Image Processing Techniques参考文献 32被引用 14

一句话总结

该论文提出 TrilevelNAS，一种可微神经架构搜索框架，通过联合优化网络级、单元级和卷积核级结构，实现高效的单图像超分辨率。通过引入树状超网络、sparsestmax 和排序 sparsestmax，实现分层、可微且稀疏的神经架构搜索，显著降低模型参数量与 FLOPs，实现 SOTA 性能，在基准数据集上的准确率-效率权衡方面优于先前的 NAS 方法。

ABSTRACT

Modern solutions to the single image super-resolution (SISR) problem using deep neural networks aim not only at better performance accuracy but also at a lighter and computationally efficient model. To that end, recently, neural architecture search (NAS) approaches have shown some tremendous potential. Following the same underlying, in this paper, we suggest a novel trilevel NAS method that provides a better balance between different efficiency metrics and performance to solve SISR. Unlike available NAS, our search is more complete, and therefore it leads to an efficient, optimized, and compressed architecture. We innovatively introduce a trilevel search space modeling, i.e., hierarchical modeling on network-, cell-, and kernel-level structures. To make the search on trilevel spaces differentiable and efficient, we exploit a new sparsestmax technique that is excellent at generating sparse distributions of individual neural architecture candidates so that they can be better disentangled for the final selection from the enlarged search space. We further introduce the sorting technique to the sparsestmax relaxation for better network-level compression. The proposed NAS optimization additionally facilitates simultaneous search and training in a single phase, reducing search time and train time. Comprehensive evaluations on the benchmark datasets show our method's clear superiority over the state-of-the-art NAS in terms of a good trade-off between model size, performance, and efficiency.

研究动机与目标

• 解决现有基于 NAS 的 SISR 方法仅优化一个或两个层级（网络、单元、卷积核）所导致的效率低下问题，从而实现更优的模型压缩与 FLOPs 控制。
• 克服基于网格状超网络建模的局限性，该方法存在路径依赖纠缠，限制了灵活剪枝与路径优化。
• 构建一个完整的三级搜索空间，同时建模网络路径、单元操作与卷积核尺寸，实现整体架构的联合优化。
• 通过可微神经架构搜索实现搜索与训练的同步进行，从而显著缩短搜索时间并提升效率。
• 在模型性能（PSNR）、参数量、FLOPs 与推理效率之间实现更优的平衡，以适配设备端部署。

提出的方法

• 提出一个三级搜索空间，用于建模网络级路径、单元级操作（如残差块）以及具有指定卷积核尺寸子集的卷积核级结构。
• 设计一种树状超网络架构，解耦网络路径，相比基于网格的超网络设计，实现更独立的剪枝操作与更高的内存效率。
• 采用 sparsestmax 激活函数生成稀疏的架构分布，从而从扩展的搜索空间中高效且解耦地选择候选架构。
• 引入带有序约束的排序 sparsestmax 技术，以促进浅层、高效网络架构的生成，同时不损失性能。
• 利用预训练的 ESRGAN 生成器作为教师模型，通过知识蒸馏技术监督搜索过程，使学生模型在无真实标签监督的情况下仍能实现高性能。
• 实现端到端可微优化，将搜索与训练统一于单一阶段，从而显著减少总搜索与训练时间。

实验结果

研究问题

• RQ1 是否能够通过联合优化网络、单元与卷积核级架构的三级 NAS 框架，在 SISR 任务中实现优于现有方法的效率-性能权衡？
• RQ2 与基于网格的超网络相比，树状超网络在路径独立性、剪枝能力与搜索效率方面表现如何？
• RQ3 在 SISR 的 NAS 中，与标准 softmax 相比，sparsestmax 在架构搜索效率与稀疏性方面提升程度如何？
• RQ4 引入带有序约束的排序 sparsestmax 是否能生成更紧凑、更高效的 SISR 模型，同时不造成性能下降？
• RQ5 与从零开始训练相比，通过搜索阶段继承权重进行训练，是否能加速收敛并提升最终 PSNR？

主要发现

• TrilevelNAS 在 Set5 上实现 30.34 的 PSNR，在 Set14 上实现 27.29 的 PSNR，仅使用 0.34M 参数与 117.39 GFLOPs，相比 AGD 与其他 NAS 基线方法在效率方面表现更优，同时保持了具有竞争力的性能。
• 在 TrilevelNAS-B 变体中，模型参数量降至 0.27M，FLOPs 降低至 17.33 GFLOPs，展现出强大的压缩能力。
• 与 softmax 相比，sparsestmax 在实现相近 PSNR 的同时显著减少模型参数量与 FLOPs，表明其在架构搜索中具备更优的稀疏性与效率。
• 采用 λ = 0.1 的排序 sparsestmax 有效剪除了冗余的残差块，生成更浅层、更高效的架构（路径 [0,0,0,1,0,1]），且未造成性能损失。
• 从搜索阶段继承权重进行训练，相比从零开始训练，收敛速度更快且 PSNR 更高，证实了搜索阶段权重迁移的有效性。
• 在 AIM 2020 Challenge 基准测试中，TrilevelNAS 以仅 0.27M 参数与 17.33 GFLOPs 实现了 28.52 的竞争力 PSNR，证明其适用于设备端部署。