[论文解读] Pseudocylindrical Convolutions for Learned Omnidirectional Image Compression

Mu Li, Kede Ma+2 more|arXiv (Cornell University)|Dec 25, 2021

Advanced Vision and Imaging被引用 4

一句话总结

本文提出了一种伪圆柱卷积和一种可学习的伪圆柱表示，用于基于端到端深度神经网络的360°图像压缩。通过重新参数化球面到平面的映射以减少失真，并利用伪圆柱填充实现高效卷积，该方法在19,790张图像上实现了优于ERP和其他投影方式的率失真性能与感知质量，VSSIM指标下最高可节省25.86%的BD-rate，BD-熵指标下节省13.97%。

ABSTRACT

Although equirectangular projection (ERP) is a convenient form to store omnidirectional images (also known as 360-degree images), it is neither equal-area nor conformal, thus not friendly to subsequent visual communication. In the context of image compression, ERP will over-sample and deform things and stuff near the poles, making it difficult for perceptually optimal bit allocation. In conventional 360-degree image compression, techniques such as region-wise packing and tiled representation are introduced to alleviate the over-sampling problem, achieving limited success. In this paper, we make one of the first attempts to learn deep neural networks for omnidirectional image compression. We first describe parametric pseudocylindrical representation as a generalization of common pseudocylindrical map projections. A computationally tractable greedy method is presented to determine the (sub)-optimal configuration of the pseudocylindrical representation in terms of a novel proxy objective for rate-distortion performance. We then propose pseudocylindrical convolutions for 360-degree image compression. Under reasonable constraints on the parametric representation, the pseudocylindrical convolution can be efficiently implemented by standard convolution with the so-called pseudocylindrical padding. To demonstrate the feasibility of our idea, we implement an end-to-end 360-degree image compression system, consisting of the learned pseudocylindrical representation, an analysis transform, a non-uniform quantizer, a synthesis transform, and an entropy model. Experimental results on $19,790$ omnidirectional images show that our method achieves consistently better rate-distortion performance than the competing methods. Moreover, the visual quality by our method is significantly improved for all images at all bitrates.

研究动机与目标

• 解决360°图像压缩中等距投影（ERP）存在的非均匀采样与失真问题。
• 设计一种可微分、可学习的地图投影，以最小化率失真损失，同时保持计算效率。
• 开发伪圆柱卷积，使标准CNN能够直接在非矩形的360°表示上运行。
• 构建基于所提表示与层的端到端深度学习压缩系统，优化感知质量与比特率效率。
• 证明可学习的伪圆柱表示与卷积在率失真性能与视觉质量方面优于传统ERP与拼接投影。

提出的方法

• 提出一种参数化的伪圆柱表示，作为地图投影的泛化形式，通过纬度相关的缩放以平衡面积与角度失真。
• 引入一种贪婪算法，利用代理率失真目标优化表示参数，以最小化失真并控制比特率。
• 设计伪圆柱卷积，采用一种新颖的“伪圆柱填充”技术，使标准卷积操作能够在变换后的360°图像网格上执行。
• 采用标准的端到端压缩框架：分析变换、非均匀量化、合成变换与熵模型，所有操作均在可学习的伪圆柱表示上进行。
• 使用基于VMSE的失真度量，并对整个系统进行联合优化以提升率失真性能。
• 在包含19,790张360°图像的大规模数据集上验证方法，与ERP、正弦形拼接和拼接表示进行对比。

实验结果

研究问题

• RQ1 与标准ERP相比，可微分、可学习的伪圆柱地图投影是否能减少失真并提升压缩效率？
• RQ2 所提出的伪圆柱卷积是否能在不牺牲计算速度的前提下，实现高效且有效的360°图像特征学习？
• RQ3 对伪圆柱表示与深度压缩网络进行联合优化，是否能获得优于固定投影的率失真与感知性能？
• RQ4 该方法是否具备可扩展性与可迁移性，适用于除压缩外的其他360°视觉任务？
• RQ5 在比特率节省与视觉质量方面，所学表示与正弦形或拼接投影相比如何？

主要发现

• 所提出的优化伪圆柱表示在基线方法上实现了13.97%的BD-熵增益与25.86%的BD-VSSIM增益，表明其在率失真与感知质量方面表现更优。
• 该方法优于ERP与正弦形拼接，在BD-BR指标下比特率节省达4.30%，PSNR提升14.22%。
• 伪圆柱卷积的运行速度与标准卷积相当，平均仅增加0.003秒延迟，证明了其计算可行性。
• 消融实验证实，所学表示与伪圆柱卷积均不可或缺，其中前者对感知增益贡献更大。
• 在所有比特率下，视觉质量均显著提升，所有测试图像在PSNR与VSSIM指标上均保持一致增益。
• 由于其兼容性与高效性，该方法在与现有视频编码器集成及更广泛的360°视觉应用中展现出强大潜力。