[论文解读] Ultrafast Photorealistic Style Transfer via Neural Architecture Search

Jie An, Haoyi Xiong+2 more|arXiv (Cornell University)|Dec 5, 2019

Image Enhancement Techniques参考文献 29被引用 5

一句话总结

本文提出 PhotoNAS，一种超高速的逼真风格迁移方法，结合了基于新型神经架构搜索（NAS）的网络（PhotoNet）与教师-学生剪枝框架。通过引入带有瓶颈特征聚合（BFA）的密集自编码器和实例归一化跳跃连接（INSL），并应用自动化架构搜索以实现加速，该方法在保持卓越逼真度和细节保留的前提下，实现比最先进方法快20–30倍的推理速度，且无需后处理或区域掩码。

ABSTRACT

The key challenge in photorealistic style transfer is that an algorithm should faithfully transfer the style of a reference photo to a content photo while the generated image should look like one captured by a camera. Although several photorealistic style transfer algorithms have been proposed, they need to rely on post- and/or pre-processing to make the generated images look photorealistic. If we disable the additional processing, these algorithms would fail to produce plausible photorealistic stylization in terms of detail preservation and photorealism. In this work, we propose an effective solution to these issues. Our method consists of a construction step (C-step) to build a photorealistic stylization network and a pruning step (P-step) for acceleration. In the C-step, we propose a dense auto-encoder named PhotoNet based on a carefully designed pre-analysis. PhotoNet integrates a feature aggregation module (BFA) and instance normalized skip links (INSL). To generate faithful stylization, we introduce multiple style transfer modules in the decoder and INSLs. PhotoNet significantly outperforms existing algorithms in terms of both efficiency and effectiveness. In the P-step, we adopt a neural architecture search method to accelerate PhotoNet. We propose an automatic network pruning framework in the manner of teacher-student learning for photorealistic stylization. The network architecture named PhotoNAS resulted from the search achieves significant acceleration over PhotoNet while keeping the stylization effects almost intact. We conduct extensive experiments on both image and video transfer. The results show that our method can produce favorable results while achieving 20-30 times acceleration in comparison with the existing state-of-the-art approaches. It is worth noting that the proposed algorithm accomplishes better performance without any pre- or post-processing.

研究动机与目标

• 解决现有逼真风格迁移方法依赖计算成本高昂的后处理或区域掩码的局限性。
• 设计一种专用于逼真风格迁移的神经架构，以提升细节保留和真实感。
• 通过自动化神经架构搜索显著加速模型，同时不损失风格迁移质量。
• 实现端到端、实时的图像与视频逼真风格迁移，无需辅助处理。

提出的方法

• 提出 PhotoNet，一种具有瓶颈特征聚合（BFA）的非对称自编码器，用于融合多分辨率特征，以提升风格迁移的保真度。
• 引入实例归一化跳跃连接（INSL），结合跳跃连接与实例归一化，以改善特征恢复并减少“短路”伪影。
• 在神经架构搜索（StyleNAS）中采用教师-学生学习框架，自动剪枝 PhotoNet 中的冗余算子。
• 使用进化算法在搜索空间内迭代变异与评估架构，仅保留对高速推理至关重要的组件。
• 将该搜索框架应用于推导出 PhotoNAS，一种紧凑、快速且准确的模型，适用于实时逼真风格迁移。
• 通过 WCT 风格变换中的可调超参数 ε 支持风格化效果控制，允许用户根据偏好进行调节。

实验结果

研究问题

• RQ1 能否设计一种专用神经架构，在不依赖后处理或区域掩码的前提下，提升逼真风格迁移效果？
• RQ2 如何将神经架构搜索框架适配以加速逼真风格迁移模型，同时保持高保真度风格迁移？
• RQ3 BFA 和 INSL 等架构组件在多大程度上可增强输出结果的细节保留与逼真度？
• RQ4 WCT 风格变换中的 ε 超参数对噪声敏感性及风格迁移质量有何影响？
• RQ5 所提方法能否在图像与视频上均实现实时性能，且不降低视觉质量？

主要发现

• PhotoNAS 相较于最先进方法（如 PhotoWCT 和 WCT 2）实现了 20–30 倍的推理速度提升，同时保持或提升了风格迁移质量。
• PhotoNet 在减少伪影、降低失真以及更优的细节保留方面优于 DPST、PhotoWCT 和 WCT 2，如表 5 所示。
• 该方法无需任何后处理或区域掩码即可生成逼真结果，避免了先前方法中常见的过度平滑与空间失真。
• WCT 风格模块中提出的 ε 超参数会影响噪声敏感性：ε 值越小，噪声内容图像中的噪声越大；ε 值越大，信噪比越优。
• 该方法成功实现了稳定的逼真视频风格迁移，如图 21 所示，风格保持一致且时间域闪烁极少。
• 失败案例包括当风格图像包含多个冲突风格因素时导致的模糊风格化，以及在噪声内容图像上产生噪声输出，表明在复杂或低信噪比场景下存在局限性。