[论文解读] MXR-U-Nets for Real Time Hyperspectral Reconstruction

Atmadeep Banerjee, Akash Palrecha|arXiv (Cornell University)|Apr 15, 2020

Advanced Data Compression Techniques参考文献 27被引用 11

一句话总结

本文提出MXR-U-Net，一种基于U-Net的CNN架构，通过使用带有Mish激活函数的MXResNet编码器、子像素卷积、模糊层以及解码器中的自注意力模块，从RGB输入重建高保真度的高光谱图像。主要贡献在于提出了一种轻量级MXResNet18变体，在仅损失0.5%性能的情况下实现了实时推理（每张图像0.037秒）。

ABSTRACT

In recent times, CNNs have made significant contributions to applications in image generation, super-resolution and style transfer. In this paper, we build upon the work of Howard and Gugger, He et al. and Misra, D. and propose a CNN architecture that accurately reconstructs hyperspectral images from their RGB counterparts. We also propose a much shallower version of our best model with a 10% relative memory footprint and 3x faster inference, thus enabling real-time video applications while still experiencing only about a 0.5% decrease in performance.

研究动机与目标

• 解决由于高光谱成像硬件成本高昂而带来的从RGB输入重建高光谱图像的挑战。
• 通过整合图像生成与超分辨率领域的最新进展，改进现有的基于CNN的光谱重建方法。
• 开发一种轻量化、支持实时推理的模型，适用于视频应用，同时保持高重建精度。
• 研究架构组件（如自注意力、模糊层和编码器深度）对性能和推理速度的影响。

提出的方法

• 采用带有四次下采样阶段的编码器-解码器U-Net架构，并在编码器与解码器之间添加跳跃连接。
• 使用MXResNet主干网络（带Mish激活函数的XResNet）作为编码器，以Mish替代ReLU以改善梯度流动。
• 在解码器中采用子像素卷积层实现高效且可学习的上采样，替代反卷积操作。
• 引入模糊层（2×2平均池化，步长为1）以减少生成图像中的棋盘状伪影。
• 在解码器第二个模块后集成自注意力模块，以增强对细粒度空间细节的关注。
• 采用结合多个中间层特征的感知损失进行训练，从而在MSE或PSNR之外提升感知质量。

实验结果

研究问题

• RQ1 自注意力、模糊层和子像素卷积等架构组件如何影响重建高光谱图像的感知质量和定量指标？
• RQ2 在保持重建精度的前提下，模型深度（如MXResNet18与MXResNet50）与推理速度之间的权衡如何？
• RQ3 浅层编码器（如MXResNet18）是否能在显著降低内存占用和推理时间的同时实现接近最先进水平的性能？
• RQ4 与MSE损失相比，感知损失在光谱重建中保留感知相关图像细节方面表现如何？
• RQ5 在ImageNet上进行预训练在多大程度上影响了RGB到高光谱图像重建的性能？

主要发现

• 基于MXResNet50的MXR-U-Net在干净数据集上达到最低的MRAE（0.045434），在真实世界数据集上为0.083993。
• 基于MXResNet18的模型实现了每张图像0.037秒的推理时间，适用于实时视频应用。
• 尽管参数量仅为MXResNet50模型的10%（31.35M对比342.07M），MXResNet18变体在干净数据集上仅增加0.006655的MRAE，在真实世界数据集上仅增加0.004596的MRAE。
• 与MSE损失相比，感知损失显著减少了视觉伪影，真实世界验证图像的定性对比结果已证实这一点。
• 在ImageNet上进行预训练略微降低了性能，表明针对此任务从随机初始化进行微调可能更为有效。
• 引入自注意力和模糊层均提升了重建质量，其中自注意力模块尤其有助于提升细粒度细节的恢复。