[论文解读] SphereSR: 360° Image Super-Resolution with Arbitrary Projection via Continuous Spherical Image Representation

Young-Ho Yoon, Inchul Chung+2 more|arXiv (Cornell University)|Dec 13, 2021

Advanced Vision and Imaging被引用 4

一句话总结

SphereSR 提出了一种新颖的360°图像超分辨率框架，通过连续球面表示生成具有任意投影方式的高分辨率全景图像。它采用几何对齐卷积实现高效的球面特征提取，并利用球面局部隐式图像函数（SLIIF）在任意球面坐标上预测RGB值，从而在多个基准测试和投影类型下实现了最先进性能。

ABSTRACT

The 360°imaging has recently gained great attention; however, its angular resolution is relatively lower than that of a narrow field-of-view (FOV) perspective image as it is captured by using fisheye lenses with the same sensor size. Therefore, it is beneficial to super-resolve a 360°image. Some attempts have been made but mostly considered the equirectangular projection (ERP) as one of the way for 360°image representation despite of latitude-dependent distortions. In that case, as the output high-resolution(HR) image is always in the same ERP format as the low-resolution (LR) input, another information loss may occur when transforming the HR image to other projection types. In this paper, we propose SphereSR, a novel framework to generate a continuous spherical image representation from an LR 360°image, aiming at predicting the RGB values at given spherical coordinates for super-resolution with an arbitrary 360°image projection. Specifically, we first propose a feature extraction module that represents the spherical data based on icosahedron and efficiently extracts features on the spherical surface. We then propose a spherical local implicit image function (SLIIF) to predict RGB values at the spherical coordinates. As such, SphereSR flexibly reconstructs an HR image under an arbitrary projection type. Experiments on various benchmark datasets show that our method significantly surpasses existing methods.

研究动机与目标

• 解决现有360°图像超分辨率方法仅限于等距柱状投影（ERP）的局限性，该投影引入了角度失真并限制了灵活性。
• 通过在球面上使用二十面体网格建模360°图像，克服2D平面投影（如ERP）固有的像素密度变化和失真问题。
• 通过在任意球面坐标上预测RGB值，实现对任意投影类型（如立方体图、等距柱状图）的高分辨率图像重建。
• 设计一种高效且内存优化的数据结构与网络模块，支持球面深度学习，而无需依赖平面图像变换。

提出的方法

• 提出一种直接在二十面体网格上运行的几何对齐卷积（GA-Conv）层，以保留球面几何结构并最小化失真，实现特征提取。
• 引入一种球面局部隐式图像函数（SLIIF），基于三角面片上的法平面极坐标位置嵌入，在任意球面坐标上预测RGB值。
• 采用连续球面表示，避免在投影变换过程中出现像素错位，从而支持任意360°投影格式的灵活输出。
• 实现一种投影无关的特征损失，用于度量不同投影类型特征图之间的相似性，提升在多样化投影下的泛化能力与性能。
• 设计一种内存高效的球面特征存储与处理数据结构，相比先前方法（如SpherePHD）显著降低激活内存占用。
• 采用L1损失与所提出的特征损失相结合的方式端到端训练模型，以增强感知质量与跨投影的一致性特征。

实验结果

研究问题

• RQ1 深度学习框架能否实现360°图像超分辨率并输出任意投影格式，而非仅限于等距柱状投影？
• RQ2 如何使球面图像表示实现连续且可微分，以支持在任意球面坐标上实现高保真RGB预测？
• RQ3 与平面投影相比，使用二十面体网格结合几何对齐卷积在特征提取效率与失真减少方面有何影响？
• RQ4 投影无关的特征损失在不同360°图像投影中的性能提升程度如何？
• RQ5 所提出的数据显示结构在内存效率与可扩展性方面与现有球面CNN实现相比表现如何？

主要发现

• SphereSR在ODI-SR与SUN 360全景数据集上均达到最先进性能，在×8超分下WS-PSNR达24.37 dB，WS-SSIM达0.6777。
• 引入GA-Conv使ODI-SR上的PSNR提升0.14 dB，SUN 360全景数据集上提升0.12 dB（×8超分），证明其在特征提取中的有效性。
• SLIIF在×8超分下相比像素重排基线模型PSNR提升0.03 dB，证实其在连续、基于坐标的图像重建中的优势。
• 特征损失在所有尺度与数据集上均带来一致的性能增益，WS-PSNR提升0.04–0.05 dB，WS-SSIM提升0.001–0.002。
• 所提数据结构在更高输入层级下相比SpherePHD将激活内存降低高达70%，且随着分辨率提升，内存效率比持续改善。
• SphereSR可直接在球面上预测RGB值，无需重新投影，从而实现任意投影类型（如ERP、立方体图）的灵活超分输出，且无重投影伪影。