[论文解读] Transform Domain Pyramidal Dilated Convolution Networks For Restoration of Under Display Camera Images

P. S. Hrishikesh, Densen Puthussery+2 more|arXiv (Cornell University)|Sep 20, 2020

Advanced Image Processing Techniques参考文献 18被引用 4

一句话总结

本文提出两种新颖的深度学习架构，通过在小波和基于DCT的双域网络中引入金字塔状空洞卷积，以恢复屏下摄像头（UDC）图像。该方法在ECCV 2020 UDC图像恢复挑战赛中取得最先进性能，其中P-OLED方法获得Track 2冠军，T-OLED方法在PSNR和SSIM指标下位列第四。

ABSTRACT

Under-display camera (UDC) is a novel technology that can make digital imaging experience in handheld devices seamless by providing large screen-to-body ratio. UDC images are severely degraded owing to their positioning under a display screen. This work addresses the restoration of images degraded as a result of UDC imaging. Two different networks are proposed for the restoration of images taken with two types of UDC technologies. The first method uses a pyramidal dilated convolution within a wavelet decomposed convolutional neural network for pentile-organic LED (P-OLED) based display system. The second method employs pyramidal dilated convolution within a discrete cosine transform based dual domain network to restore images taken using a transparent-organic LED (T-OLED) based UDC system. The first method produced very good quality restored images and was the winning entry in European Conference on Computer Vision (ECCV) 2020 challenge on image restoration for Under-display Camera - Track 2 - P-OLED evaluated based on PSNR and SSIM. The second method scored fourth position in Track-1 (T-OLED) of the challenge evaluated based on the same metrics.

研究动机与目标

• 解决现代手持设备中屏下摄像头（UDC）系统导致的严重图像退化问题。
• 恢复使用不同显示技术（P-OLED和T-OLED）拍摄的UDC图像，每种技术均呈现独特的光学失真。
• 设计针对P-OLED和T-OLED UDC系统独特退化模式的专用深度学习架构。
• 提升图像质量，以PSNR和SSIM为指标，这两个指标是ECCV 2020 UDC恢复挑战赛的主要评价标准。

提出的方法

• 将金字塔状空洞卷积集成到基于小波分解的卷积神经网络中，用于P-OLED UDC图像恢复。
• 采用结合离散余弦变换（DCT）与卷积神经网络的双域框架，用于T-OLED UDC图像恢复。
• 通过金字塔状空洞卷积实现多尺度感受野，以捕捉长距离依赖关系并保留精细细节。
• 利用小波分解将图像特征按尺度分离，实现在子带中的针对性恢复。
• 设计基于DCT的网络，使其在空域与频域中均能运行，从而增强纹理与边缘恢复能力。
• 使用成对的真实UDC图像与干净参考图像，端到端训练两个网络，以优化PSNR和SSIM指标。

实验结果

研究问题

• RQ1 基于小波的网络结合金字塔状空洞卷积，能否有效恢复P-OLED UDC图像，并实现高PSNR与SSIM？
• RQ2 基于DCT的双域网络能否在复杂光学失真下实现T-OLED UDC图像的鲁棒恢复？
• RQ3 金字塔状空洞卷积如何提升UDC图像处理中的特征表示与恢复质量？
• RQ4 在标准化基准下，两种所提方法在不同UDC显示技术上的性能表现如何比较？

主要发现

• 基于小波的金字塔状空洞网络在ECCV 2020 UDC图像恢复挑战赛Track 2中取得最高PSNR与SSIM得分，获得冠军。
• 基于DCT的双域网络结合金字塔状空洞卷积，在ECCV 2020挑战赛T-OLED UDC图像恢复的Track 1中位列第四。
• 使用金字塔状空洞卷积显著增强了多尺度特征学习，提升了纹理与边缘的保留效果。
• 小波分解方法有效分离了退化伪影，实现在子带中的更精确恢复。
• 基于DCT的框架在T-OLED图像的频域去噪与伪影抑制方面表现出色。
• 两种方法在其各自对应的UDC显示类型上均优于基线方法，验证了领域特定网络设计的有效性。