[论文解读] NTIRE 2023 Challenge on Light Field Image Super-Resolution: Dataset, Methods and Results

Yingqian Wang, Longguang Wang+4 more|arXiv (Cornell University)|Apr 20, 2023

Advanced Vision and Imaging被引用 4

一句话总结

本论文介绍了NTIRE 2023年光场图像超分挑战赛，引入了一个新的基准数据集（NTIRE-2023）、用于模型开发的BasicLFSR工具箱，并对11种表现最佳的方法进行了全面评估。该挑战赛取得了最先进水平的结果，获胜方法通过深度学习技术在4D光场数据中融合空间与角度信息，使PSNR相比先前最先进方法提升了约1 dB。

ABSTRACT

In this report, we summarize the first NTIRE challenge on light field (LF) image super-resolution (SR), which aims at super-resolving LF images under the standard bicubic degradation with a magnification factor of 4. This challenge develops a new LF dataset called NTIRE-2023 for validation and test, and provides a toolbox called BasicLFSR to facilitate model development. Compared with single image SR, the major challenge of LF image SR lies in how to exploit complementary angular information from plenty of views with varying disparities. In total, 148 participants have registered the challenge, and 11 teams have successfully submitted results with PSNR scores higher than the baseline method LF-InterNet \cite{LF-InterNet}. These newly developed methods have set new state-of-the-art in LF image SR, e.g., the winning method achieves around 1 dB PSNR improvement over the existing state-of-the-art method DistgSSR \cite{DistgLF}. We report the solutions proposed by the participants, and summarize their common trends and useful tricks. We hope this challenge can stimulate future research and inspire new ideas in LF image SR.

研究动机与目标

• 为在×4放大倍数下经双三次下采样退化处理的光场（LF）图像超分（SR）建立标准化基准。
• 解决在4D光场数据中有效融合空间与角度信息的核心挑战，该问题比单幅图像或立体图像超分更为复杂。
• 通过社区驱动的挑战赛，弥合低层次视觉与三维场景重建之间的鸿沟，推动跨领域视觉研究。
• 通过BasicLFSR工具箱提供可复现的开源框架，以加速方法开发与比较。
• 评估并比较多种深度学习架构在LF-SR中的表现，识别有效的设计模式与实用改进方案。

提出的方法

• 挑战赛使用新构建的数据集NTIRE-2023作为验证与测试集，该数据集源自公开可用的光场数据集，并经过标准化的×4双三次下采样处理。
• 提供定制化工具箱BasicLFSR，以简化LF-SR模型的数据加载、预处理与训练流程，兼容主流深度学习框架。
• 参赛者采用了多种网络架构，包括带通道注意力的CNN、残差学习结构以及基于Transformer的模块，以挖掘空间与角度相关性。
• 获胜方法及其他优秀方法均采用混合损失函数，结合L1损失与EPI梯度损失，以保留细节与边缘结构。
• 网络采用两阶段训练策略：先进行浅层特征提取，再通过残差块或注意力模块进行深层特征学习。
• 该框架支持MacPI（多角度块图像）处理，可在重排后的光场数据上实现2D卷积操作，从而高效学习特征。

Figure 1 : An illustration of the center-view images in the developed NTIRE-2023 LF dataset. Both validation and test sets contain 16 real-world and 16 synthetic LFs, respectively.

实验结果

研究问题

• RQ1 在4D光场数据中，哪些架构在超分任务中对融合空间与角度信息最为有效？
• RQ2 不同损失函数——尤其是EPI梯度损失与L1损失——如何影响LF-SR中的感知质量与结构保真度？
• RQ3 与标准CNN相比，注意力机制与残差学习在LF-SR中能在多大程度上提升性能？
• RQ4 哪些设计模式与训练策略能为多种LF-SR模型带来一致的性能提升？
• RQ5 所提出的基准与工具箱在多大程度上促进了LF-SR研究的可复现性与公平比较？

主要发现

• 获胜方法相比先前最先进方法DistgSSR，实现了约1 dB的PSNR提升，表明性能有显著进步。
• 共11支队伍提交的结果PSNR高于基线方法LF-InterNet，表明社区参与度高且方法创新活跃。
• 顶尖方法的共同趋势包括使用残差学习、通道注意力机制，以及结合L1与EPI梯度损失的混合损失函数。
• BasicLFSR工具箱在加速模型开发方面表现有效，多数参赛者均使用该工具箱进行训练与推理。
• NTIRE-2023数据集被证实具有多样性与代表性，支持在不同光场场景与复杂度下的稳健泛化能力。
• 该挑战赛成功识别出关键的架构与训练改进方案，现已成为LF-SR研究中的最佳实践。

Figure 2 : The OpenMeow Team: The network architecture of the proposed DistgEPIT.