[论文解读] UDC 2020 Challenge on Image Restoration of Under-Display Camera: Methods and Results

Yuqian Zhou, Michael Kwan+43 more|arXiv (Cornell University)|Aug 18, 2020

Advanced Image Processing Techniques参考文献 35被引用 5

一句话总结

本论文报告了在 ECCV 2020 上举办的首个显示屏下方摄像头（UDC）图像恢复挑战赛的结果，评估了基于深度学习的方法在透明及 Pentile OLED 显示屏导致的图像退化下的恢复性能。采用 U-Net 和残差密集网络并结合针对阴影校正、色彩校正及小波特征学习的专用模块，实现了最先进性能，尤其在 T-OLED 和 P-OLED 显示屏上分别取得超过 26.6 和 25.7 的 PSNR 分数。

ABSTRACT

This paper is the report of the first Under-Display Camera (UDC) image restoration challenge in conjunction with the RLQ workshop at ECCV 2020. The challenge is based on a newly-collected database of Under-Display Camera. The challenge tracks correspond to two types of display: a 4k Transparent OLED (T-OLED) and a phone Pentile OLED (P-OLED). Along with about 150 teams registered the challenge, eight and nine teams submitted the results during the testing phase for each track. The results in the paper are state-of-the-art restoration performance of Under-Display Camera Restoration. Datasets and paper are available at https://yzhouas.github.io/projects/UDC/udc.html.

研究动机与目标

• 为解决现代全屏设备中显示屏下方摄像头系统导致的严重图像退化问题，如模糊、噪声和低光照。
• 在两种不同显示类型——4K 透明 OLED（T-OLED）和手机 Pentile OLED（P-OLED）——上评估并基准化基于深度学习的图像恢复方法。
• 通过新收集的退化图像与真实图像配对数据集，建立标准化基准用于 UDC 图像恢复。
• 识别有效网络架构与组件，如阴影校正、小波变换和引导滤波器，以提升在特定显示退化下的恢复性能。

提出的方法

• 采用双轨挑战赛形式，使用两种显示类型：T-OLED 和 P-OLED，训练集、验证集和测试集各包含 240、30 和 30 对图像，分辨率为 1024×2048。
• 参赛者使用基于深度学习的模型，主要为改进后的 U-Net 和残差密集网络，对 128×128 大小的图像块进行端到端训练。
• 引入专用模块，包括阴影校正模块，该模块对每张图像块应用学习得到的系数，以校正显示引起的光照非均匀性。
• 部分模型（如 CET_CVLab）采用基于小波的下采样与上采样方法，以减少在 P-OLED 显示屏上低光透过率导致的信息损失。
• 部分团队采用多阶段流水线，如 CILab IITM 和 Image Lab，结合可微分引导滤波器与渐进式优化，以提升图像保真度。
• 探索了集成策略、数据增强、归一化方法及模型深度以提升性能，部分方法结合了深度学习与传统图像处理技术。

实验结果

研究问题

• RQ1 标准深度学习架构（如 U-Net 和残差网络）在不同 OLED 类型的显示屏下方摄像头系统导致的图像退化恢复中效果如何？
• RQ2 哪些特定的架构改进（如阴影校正、小波变换或引导滤波器）能显著提升在 T-OLED 和 P-OLED 显示屏上的性能？
• RQ3 在真实世界 UDC 图像退化上，基于模拟数据微调的预训练模型能在多大程度上提升恢复性能？
• RQ4 不同显示特性（如光透过率和色彩偏移）如何影响恢复模型的泛化能力与设计？
• RQ5 结合深度学习与经典图像处理技术的混合方法是否能在 UDC 图像恢复中超越纯学习方法？

主要发现

• 在 T-OLED 赛道中，表现最佳的方法实现了 26.60 的 PSNR，显著优于基线方法，证明了使用残差密集网络进行直接端到端训练的有效性。
• 在 P-OLED 赛道中，优胜方法（CET_CVLab）采用基于小波的 U-Net 架构，实现了 25.72 的 PSNR，有效减少了下采样过程中的信息损失，并提升了低光照条件下的恢复效果。
• 采用专用模块的方法，如阴影校正（百度研究院）和可微分引导滤波器（CILab IITM），相比标准架构表现出可测量的性能提升。
• 由于 T-OLED 的光透过率和色彩偏移问题较轻，T-OLED 任务整体上比 P-OLED 更容易，所有方法在该任务上均取得更高的 PSNR 分数。
• 推理时间差异显著，部分模型（如 CET_CVLab）在高端 GPU 上实现每张图像 0.044 秒的推理速度，表明经优化后具备实时部署潜力。
• 集成策略与渐进式优化（如 Image Lab 和 lyl 团队）有助于性能提升，表明多级监督与迭代优化对复杂退化恢复具有显著有效性。