[论文解读] Pixel-aware Deep Function-mixture Network for Spectral Super-Resolution

Lei Zhang, Zhiqiang Lang+5 more|arXiv (Cornell University)|Mar 24, 2019

Advanced Image Fusion Techniques参考文献 42被引用 8

一句话总结

本文提出了一种用于光谱超分的像素感知深度函数混合网络，通过新颖的函数混合（FM）模块，在每个像素上使用自适应、可学习的感受野和映射函数。FM 模块结合了具有不同感受野的多个并行子网络与一个混合子网络，以生成逐像素的权重，实现对上下文和映射的动态选择。该方法在三个基准数据集上实现了最先进性能，RMSE 低至 0.98，PSNR 达到 49.87 dB。

ABSTRACT

Spectral super-resolution (SSR) aims at generating a hyperspectral image (HSI) from a given RGB image. Recently, a promising direction for SSR is to learn a complicated mapping function from the RGB image to the HSI counterpart using a deep convolutional neural network. This essentially involves mapping the RGB context within a size-specific receptive field centered at each pixel to its spectrum in the HSI. The focus thereon is to appropriately determine the receptive field size and establish the mapping function from RGB context to the corresponding spectrum. Due to their differences in category or spatial position, pixels in HSIs often require different-sized receptive fields and distinct mapping functions. However, few efforts have been invested to explicitly exploit this prior. To address this problem, we propose a pixel-aware deep function-mixture network for SSR, which is composed of a new class of modules, termed function-mixture (FM) blocks. Each FM block is equipped with some basis functions, i.e., parallel subnets of different-sized receptive fields. Besides, it incorporates an extra subnet as a mixing function to generate pixel-wise weights, and then linearly mixes the outputs of all basis functions with those generated weights. This enables us to pixel-wisely determine the receptive field size and the mapping function. Moreover, we stack several such FM blocks to further increase the flexibility of the network in learning the pixel-wise mapping. To encourage feature reuse, intermediate features generated by the FM blocks are fused in late stage, which proves to be effective for boosting the SSR performance. Experimental results on three benchmark HSI datasets demonstrate the superiority of the proposed method.

研究动机与目标

• 为解决现有基于深度卷积神经网络的光谱超分（SSR）方法中固定感受野和通用映射函数的局限性。
• 基于空间和类别特定的上下文，实现光谱超分中感受野大小和映射函数的逐像素自适应。
• 通过可学习的动态融合机制建模异质像素特性，提升光谱超分的准确性。
• 通过堆叠 FM 模块并融合中间特征，增强特征复用和模型灵活性。

提出的方法

• 引入一种由多个具有不同感受野大小的并行子网络（基函数）和一个独立的混合函数组成的函数混合（FM）模块。
• 混合函数生成逐像素注意力权重，以线性组合基函数的输出，实现对每个像素上下文和映射的动态选择。
• 通过堆叠多个 FM 模块，提升网络在图像中学习像素特定映射的灵活性。
• 通过晚期阶段跳跃连接融合 FM 模块的中间特征，以促进特征复用并改善表征学习。
• 该架构具有模块化特性，可集成到各种深度 CNN 主干网络中。
• 方法采用基函数的线性组合，通过标准回归损失（如 RMSE）进行端到端训练，用于高光谱重建。

实验结果

研究问题

• RQ1 深度学习模型能否动态适应每个像素的感受野大小和映射函数，以提升光谱超分性能？
• RQ2 可学习的、逐像素的多尺度基函数混合方法是否优于固定感受野或通用映射方法？
• RQ3 晚期阶段特征融合如何影响 SSR 网络的性能和泛化能力？
• RQ4 在准确性和效率之间，基函数数量的最优权衡是什么？

主要发现

• 所提方法在 NTIRE2018 数据集上实现了 0.98 的测试 RMSE 和 49.87 dB 的 PSNR，优于先前的最先进方法。
• 消融实验确认，逐像素混合与中间特征融合均至关重要，任一移除均导致性能显著下降。
• 基函数数量从 1 增加到 5 时，RMSE 从 1.47 降低至 0.98，表明模型容量提升的显著优势。
• FM 模块数量（p）也影响性能，最优结果出现在 p=6 时（RMSE: 1.00，PSNR: 49.59），但 p>6 后性能增益趋于平缓。
• 该方法在三个基准数据集（NTIRE2018、CAVE 和 HSx）上均表现出一致优势，RMSE、PSNR、SAM 和 SSIM 均有提升。
• 模型实现了高达 0.9958 的 SSIM 和仅 1.00 的 SAM，表明重建的高光谱图像具有高度的结构和光谱保真度。