[论文解读] Spatial-Angular Interaction for Light Field Image Super-Resolution

Yingqian Wang, Longguang Wang+4 more|arXiv (Cornell University)|Dec 17, 2019

Advanced Vision and Imaging参考文献 52被引用 9

一句话总结

该论文提出LF-InterNet，一种用于光场图像超分的时空交互网络，通过解耦并逐步融合低分辨率光场输入中的空间与视角特征。借助一种新颖的交互机制，该方法在FLOPs更低的情况下实现了SOTA的PSNR与SSIM指标，实现了高质量、细节保留的重建，同时具备高效的端到端处理能力。

ABSTRACT

Light field (LF) cameras record both intensity and directions of light rays, and capture scenes from a number of viewpoints. Both information within each perspective (i.e., spatial information) and among different perspectives (i.e., angular information) is beneficial to image super-resolution (SR). In this paper, we propose a spatial-angular interactive network (namely, LF-InterNet) for LF image SR. Specifically, spatial and angular features are first separately extracted from input LFs, and then repetitively interacted to progressively incorporate spatial and angular information. Finally, the interacted features are fused to superresolve each sub-aperture image. Experimental results demonstrate the superiority of LF-InterNet over the state-of-the-art methods, i.e., our method can achieve high PSNR and SSIM scores with low computational cost, and recover faithful details in the reconstructed images.

研究动机与目标

• 为解决现有光场超分方法在4D光场中未能有效利用空间与视角信息的局限性。
• 克服两阶段或基于视图选择方法效率低下且性能欠佳的问题，这些方法忽略了未使用视图中的互补信息。
• 设计一种深度学习框架，同时利用每个子孔径图像内的空间上下文信息以及多视角间的视角一致性。
• 实现高分辨率光场重建，计算成本低，并对真实世界退化具有鲁棒性。

提出的方法

• 该方法引入双分支特征提取器，从输入光场中分别提取空间与视角特征，实现特征解耦。
• 设计了时空交互模块，通过在多个阶段交替关注空间与视角上下文，逐步优化特征。
• 交互机制实现了空间与视角表征之间的双向信息流动，显著增强特征表示，而无需显著增加模型深度。
• 最终融合的特征通过共享的超分头端到端重建高分辨率子孔径图像。
• 网络采用感知损失与内容损失进行训练，以在重建图像中保留结构与纹理细节。
• 架构经过优化，实现低FLOPs与小模型尺寸（1.51M–1.66M参数），同时保持高性能。

实验结果

研究问题

• RQ1 深度学习框架能否有效且高效地利用光场图像中的空间与视角信息进行超分？
• RQ2 渐进式时空特征交互与分别或顺序处理空间与视角特征相比，表现如何？
• RQ3 统一网络架构在重建质量与计算效率方面，相较于两阶段或视图选择方法，优势有多大？
• RQ4 所提方法在训练中未见的真实世界退化模式下，泛化能力如何？

主要发现

• 在2×超分基准上，LF-InterNet实现42.36 dB的PSNR与0.985的SSIM，优于RCAN、SAN、resLF、LFSSR与LF-ATO。
• 在4×超分任务中，该方法实现37.12 dB的PSNR与0.960的SSIM，超越所有SOTA方法，包括LF-ATO与LFSSR。
• 即使在特征深度降低至32时，该方法仍保持高性能，实现41.85 dB的PSNR与0.984的SSIM，与更复杂模型相当。
• 在包含真实世界退化的未见UCSD数据集上，LF-InterNet展现出强泛化能力，在PSNR与SSIM上全面优于所有基线方法。
• 在HCIold_MonasRoom数据集上，网络在不同视角间保持均衡的PSNR分布（标准差=0.26），表明各视角性能一致。
• 视觉结果表明，LF-InterNet能重建出更锐利的细节并减少伪影，尤其在真实世界退化条件下表现更优。