[论文解读] Spherical Space Feature Decomposition for Guided Depth Map Super-Resolution

Zixiang Zhao, Jiangshe Zhang+6 more|arXiv (Cornell University)|Mar 15, 2023

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出SSDNet，一种用于引导深度图超分的新型球面空间特征分解网络。该方法利用基于Restormer的编码器提取跨模态特征，将其映射到球面空间以有效分离共享域特征与私有域特征，并采用球面对比细化模块解决边缘模糊、表面噪声及RGB纹理过度迁移等问题。该方法在参数更少的情况下实现了SOTA性能，并在真实场景中展现出优异的泛化能力。

ABSTRACT

Guided depth map super-resolution (GDSR), as a hot topic in multi-modal image processing, aims to upsample low-resolution (LR) depth maps with additional information involved in high-resolution (HR) RGB images from the same scene. The critical step of this task is to effectively extract domain-shared and domain-private RGB/depth features. In addition, three detailed issues, namely blurry edges, noisy surfaces, and over-transferred RGB texture, need to be addressed. In this paper, we propose the Spherical Space feature Decomposition Network (SSDNet) to solve the above issues. To better model cross-modality features, Restormer block-based RGB/depth encoders are employed for extracting local-global features. Then, the extracted features are mapped to the spherical space to complete the separation of private features and the alignment of shared features. Shared features of RGB are fused with the depth features to complete the GDSR task. Subsequently, a spherical contrast refinement (SCR) module is proposed to further address the detail issues. Patches that are classified according to imperfect categories are input into the SCR module, where the patch features are pulled closer to the ground truth and pushed away from the corresponding imperfect samples in the spherical feature space via contrastive learning. Extensive experiments demonstrate that our method can achieve state-of-the-art results on four test datasets, as well as successfully generalize to real-world scenes. The code is available at \url{https://github.com/Zhaozixiang1228/GDSR-SSDNet}.

研究动机与目标

• 为解决在RGB与深度模态中有效提取并区分共享域与私有域特征以实现引导深度图超分的挑战。
• 缓解深度图超分中的三大关键细节问题：边缘模糊、表面噪声及RGB纹理过度迁移。
• 通过球面特征空间改进跨模态特征对齐与分离，避免欧氏距离在尺度敏感特征空间中的局限性。
• 开发一种轻量化、可泛化的模型，在无需微调的情况下在合成与真实世界深度图数据集上均表现优异。

提出的方法

• 该方法采用Restormer模块作为编码器，从低分辨率深度图和高分辨率RGB图像中提取局部与全局特征。
• 提取的特征被映射到球面空间，以实现对私有域特征的鲁棒分离与共享域特征的对齐。
• 球面对比细化（SCR）模块利用对比学习，在球面空间中拉近 patch 特征与真实值的距离，同时推远其与不完美样本的距离。
• 模型采用多损失训练目标，包括像素级重建损失、球面空间中的特征分离损失与对齐损失。
• 解码器同样基于Restormer模块，从细化后的特征中重建高分辨率深度图。
• 整个框架以端到端方式训练，重点在于保持深度不连续性并减少纹理伪影。

实验结果

研究问题

• RQ1 球面空间特征分解能否提升引导深度超分中RGB与深度特征之间跨模态依赖关系的建模能力？
• RQ2 球面对比学习在多大程度上能有效减少深度图重建中的常见伪影，如边缘模糊与RGB纹理过度迁移？
• RQ3 在球面空间中分离共享域与私有域特征，是否相比基于欧氏空间的方法能带来在真实世界深度图数据上的更好泛化性能？
• RQ4 在多个数据集与不同超分因子下，该方法在定量指标与感知质量方面相比现有SOTA方法的优越程度如何？

主要发现

• SSDNet在四个基准数据集（RGBDD、Middlebury等）上，针对×4、×8与×16的缩放因子，均实现了SOTA性能，PSNR与SSIM指标显著提升。
• 该模型在无需微调的情况下，对真实世界场景展现出卓越泛化能力，在RGBDD数据集的真实世界分支上RMSE表现优于先前方法。
• 消融实验表明，球面特征分解与SCR模块对性能至关重要，当任一组件被移除时性能均出现明显下降。
• 该模型保持轻量化架构，参数量少于对比方法，展现出计算效率优势，具备实时部署潜力。
• 球面空间距离度量在特征分离与对齐方面优于ℓ₂距离，验证了其在跨模态特征学习中的适用性。
• 视觉对比显示，SSDNet生成的边缘更清晰，表面更干净，纹理伪影更少，证实其在解决关键细节问题上的有效性。