[论文解读] NAS-DIP: Learning Deep Image Prior with Neural Architecture Search

Yunchun Chen, Chen Gao+2 more|arXiv (Cornell University)|Aug 26, 2020

Advanced Image Processing Techniques参考文献 85被引用 4

一句话总结

本文提出 NAS-DIP，一种利用神经架构搜索（NAS）自动发现基于 U-Net 的架构中最优上采样单元和跨尺度残差连接模式的方法，以学习图像先验。通过在上采样操作和跳跃连接上构建搜索空间，并采用强化学习进行搜索，NAS-DIP 在无需学习的模型中达到最先进性能，并在图像恢复与生成任务中与基于学习的模型表现相当。

ABSTRACT

Recent work has shown that the structure of deep convolutional neural networks can be used as a structured image prior for solving various inverse image restoration tasks. Instead of using hand-designed architectures, we propose to search for neural architectures that capture stronger image priors. Building upon a generic U-Net architecture, our core contribution lies in designing new search spaces for (1) an upsampling cell and (2) a pattern of cross-scale residual connections. We search for an improved network by leveraging an existing neural architecture search algorithm (using reinforcement learning with a recurrent neural network controller). We validate the effectiveness of our method via a wide variety of applications, including image restoration, dehazing, image-to-image translation, and matrix factorization. Extensive experimental results show that our algorithm performs favorably against state-of-the-art learning-free approaches and reaches competitive performance with existing learning-based methods in some cases.

研究动机与目标

• 通过发现更优的神经架构来改进无学习图像恢复方法，以实现结构化图像先验。
• 解决现有深度图像先验方法中解码器上采样单元和固定跳跃连接设计不足的问题。
• 为编码器-解码器网络中的上采样操作与跨层级残差连接设计搜索空间。
• 在无需大规模标注数据集的情况下，验证 NAS-DIP 在多样化图像恢复与生成任务中的有效性。
• 证明 NAS 可发现超越人工设计模型（如 U-Net 和 DIP）的架构，尤其在无学习设置下表现更优。

提出的方法

• 通过将操作分解为空间分辨率变化（如双线性插值、最近邻插值）和特征变换（如 2D 转置卷积）来设计上采样单元的搜索空间。
• 构建跨尺度残差连接的搜索空间，支持编码器与解码器层之间灵活且可学习的特征融合模式。
• 采用基于强化学习的 NAS 框架，使用循环神经网络控制器探索架构空间，并以 PSNR 作为奖励信号。
• 训练控制器以发现特定任务（如超分辨率、去噪、图像修复、去雾）的最优架构，且无需真实标签。
• 将搜索得到的架构从一个任务（如去噪）迁移到另一任务（如无配对图像到图像翻译）以评估泛化能力。
• 使用标准指标（如 PSNR 和 FID）评估性能，并开展用户研究以评估感知质量。

实验结果

研究问题

• RQ1 神经架构搜索能否发现优于人工设计的上采样单元，用于深度图像先验？
• RQ2 可学习的跨尺度残差连接模式是否能提升图像恢复性能，相比固定的 U-Net 跳跃连接？
• RQ3 同时搜索上采样单元与连接模式是否能在多样化图像恢复任务中带来一致的性能提升？
• RQ4 NAS 发现的架构能否泛化至基于学习的任务（如无配对图像到图像翻译）？
• RQ5 在 PSNR 和感知质量方面，NAS-DIP 与最先进无学习及基于学习的方法相比表现如何？

主要发现

• 在 Set14 数据集上，NAS-DIP 在 4× 超分辨率任务中达到 27.84 的 PSNR，较 DIP 提升 0.84，显著改善了图像恢复性能。
• 在 8× 超分辨率任务中，NAS-DIP 达到 24.59 的 PSNR，较 DIP 提升 0.44，凸显了可学习上采样单元的有效性。
• 在图像修复任务中，NAS-DIP 的 PSNR 提升至 34.72，较 DIP 提高 1.24，该任务中性能提升最为显著。
• 在图像去噪任务中，NAS-DIP 的 PSNR 达到 31.42，较 DIP 提升 0.99，表明其在各类任务中均具有一致优势。
• 在无配对图像到图像翻译任务中，NAS-DIP 将 FID 从 78.62 降低至 76.22（Summer→Winter 任务），表明其生成质量更优。
• 用户研究表明，79.3% 的参与者更偏好 NAS-DIP 的翻译结果，而非标准 CycleGAN 模型，证实其在感知质量上的优越性。