[论文解读] PIRM Challenge on Perceptual Image Enhancement on Smartphones: Report

Andrey Ignatov, Radu Timofte+46 more|arXiv (Cornell University)|Oct 3, 2018

Advanced Image Processing Techniques参考文献 28被引用 10

一句话总结

本文介绍了2018年PIRMS智能手机感知图像增强挑战赛，设立双轨竞赛：A轨聚焦于基于DIV2K数据集的4倍双三次插值超分辨率任务，B轨则针对从iPhone 3GS到DSLR画质图像的现实世界照片增强。挑战赛采用加权评分机制，综合PSNR、MS-SSIM、运行效率及大规模用户研究中的人类感知评价，评估模型性能，为移动端可部署、感知质量优越的图像增强模型建立了新的最先进水平。

ABSTRACT

This paper reviews the first challenge on efficient perceptual image enhancement with the focus on deploying deep learning models on smartphones. The challenge consisted of two tracks. In the first one, participants were solving the classical image super-resolution problem with a bicubic downscaling factor of 4. The second track was aimed at real-world photo enhancement, and the goal was to map low-quality photos from the iPhone 3GS device to the same photos captured with a DSLR camera. The target metric used in this challenge combined the runtime, PSNR scores and solutions' perceptual results measured in the user study. To ensure the efficiency of the submitted models, we additionally measured their runtime and memory requirements on Android smartphones. The proposed solutions significantly improved baseline results defining the state-of-the-art for image enhancement on smartphones.

研究动机与目标

• 为智能手机端感知图像增强任务基准化资源高效深度学习模型。
• 弥合高性能但计算开销巨大的模型与移动端实际部署之间的差距。
• 构建统一的评估框架，平衡定量指标（PSNR、MS-SSIM）、运行效率与人类感知。
• 推动开发适用于真实世界智能手机部署的紧凑、快速且感知准确的模型。
• 建立超越传统PSNR和SSIM等单一指标的新评估标准。

提出的方法

• 组织双轨竞赛：A轨聚焦于使用DIV2K数据集的4倍双三次插值超分辨率；B轨则针对从iPhone 3GS到DSLR画质图像的现实世界增强任务，使用DPED数据集。
• 采用综合评分机制，结合PSNR、MS-SSIM与相对于基线SRCNN模型的运行时间表现进行评估。
• 通过MTurk平台开展大规模用户研究，参与人数超过2000人，收集平均意见得分（MOS）作为感知质量的代理指标。
• 在最终评分中以MOS替代MS-SSIM，以更准确反映人类视觉感知。
• 要求提交模型为TensorFlow .pb格式，以实现在安卓智能手机上的标准化基准测试。
• 采用加权总分：α·(PSNR − PSNR_baseline) + β·(MS-SSIM − MS-SSIM_baseline) + γ·min(4, Time_baseline / Time_solution)，优先考虑效率与感知质量。

实验结果

研究问题

• RQ1 是否能通过显著降低模型复杂度与推理时间，实现感知质量更优的图像增强？
• RQ2 在真实世界的图像增强任务中，PSNR与MS-SSIM等定量指标与人类感知的相关性如何？
• RQ3 在移动端设备上，高效轻量级深度学习模型在速度与感知质量方面，能在多大程度上超越标准基线模型？
• RQ4 在智能手机可部署的图像增强任务中，模型大小、推理速度与感知质量之间存在何种权衡？
• RQ5 包含人类感知的综合评估指标，是否能够提升图像增强模型的基准测试效果？

主要发现

• 获胜方案在感知质量方面相较基线模型实现显著提升，该结论得到超过2000名参与者的大型用户研究验证。
• FLOPs更低、推理速度更快的模型（如G3、IV SR+）展现出高效率，部分方案相较基线SRCNN实现超过10倍的加速比。
• 基于MOS的评估结果表明，感知质量排名常与PSNR和MS-SSIM排名存在差异，验证了人类感知在模型评估中的必要性。
• 多个团队（如Mt.Phoenix和Geometry）提出了新颖架构（如多级跳跃连接、带注意力机制的残差块），在计算成本极低的前提下实现高性能。
• 最终综合评分显示，兼顾速度、保真度与感知质量的模型，优于仅针对PSNR或MS-SSIM优化的模型。
• 该挑战赛确立了移动端图像增强的新基准，证明通过高效可部署模型可实现最先进的感知效果。