[论文解读] There and Back Again: Self-supervised Multispectral Correspondence Estimation

Celyn Walters, Oscar Méndez+2 more|arXiv (Cornell University)|Mar 19, 2021

Advanced Vision and Imaging参考文献 58被引用 8

一句话总结

该论文提出了一种自监督、光谱无关的框架，用于通过循环一致性损失和共享特征学习实现密集多光谱对应关系估计。该方法在无需真实标签的情况下，在RGB-FIR、RGB-NIR和RGB-RGB对应关系任务上均取得了最先进性能，仅使用图像对和循环一致性即可实现跨光谱的泛化能力。

ABSTRACT

Across a wide range of applications, from autonomous vehicles to medical imaging, multi-spectral images provide an opportunity to extract additional information not present in color images. One of the most important steps in making this information readily available is the accurate estimation of dense correspondences between different spectra. Due to the nature of cross-spectral images, most correspondence solving techniques for the visual domain are simply not applicable. Furthermore, most cross-spectral techniques utilize spectra-specific characteristics to perform the alignment. In this work, we aim to address the dense correspondence estimation problem in a way that generalizes to more than one spectrum. We do this by introducing a novel cycle-consistency metric that allows us to self-supervise. This, combined with our spectra-agnostic loss functions, allows us to train the same network across multiple spectra. We demonstrate our approach on the challenging task of dense RGB-FIR correspondence estimation. We also show the performance of our unmodified network on the cases of RGB-NIR and RGB-RGB, where we achieve higher accuracy than similar self-supervised approaches. Our work shows that cross-spectral correspondence estimation can be solved in a common framework that learns to generalize alignment across spectra.

研究动机与目标

• 解决在多种光谱之间缺乏可泛化的自监督方法进行密集跨光谱对应关系估计的问题。
• 通过消除对真实光流标注的需求，克服多光谱数据集标注稀缺的难题。
• 通过共享损失函数，使单一网络能够泛化于不同光谱对（例如RGB-FIR、RGB-NIR、RGB-RGB）之间。
• 通过利用循环一致性与基于特征的损失，提升对光谱间辐射不一致性问题的鲁棒性。
• 在具有挑战性的RGB-FIR对应关系任务上实现高精度，该任务在多光谱视觉中虽罕见但至关重要。

提出的方法

• 提出一种类似孪生网络的双分支网络架构，用于处理来自不同光谱的配对图像。
• 采用循环一致性损失，强制实现双向光流估计：从A到B的预测光流与从B到A的反向光流，并在原始图像上施加重建损失。
• 引入光谱无关的损失函数（如特征损失、辐射损失），使其对光谱差异保持不变。
• 使用共享编码器提取跨光谱的特征，从而实现在不同光谱对之间的迁移学习。
• 应用可微分的图像扭曲层，利用预测的光流重建图像，支持端到端训练。
• 仅使用图像对进行自监督训练，避免昂贵的真实标签标注。

实验结果

研究问题

• RQ1 是否可以训练单一深度网络，使其在无需光谱特异性调整的情况下，泛化于多个光谱对（如RGB-FIR、RGB-NIR、RGB-RGB）？
• RQ2 当缺乏真实标签时，循环一致性损失在实现自监督训练以进行跨光谱对应关系估计方面有多有效？
• RQ3 与现有自监督方法相比，光谱无关的损失函数是否能显著提升在具有挑战性的RGB-FIR对应关系任务上的性能？
• RQ4 在自监督设置下，该方法是否在RGB-NIR和RGB-RGB对应关系任务上优于现有方法？
• RQ5 该框架在保留多样光谱对之间精细细节与结构一致性方面，达到了何种程度？

主要发现

• 所提方法在RGB-FIR对应关系任务上取得了最先进性能，该任务具有挑战性且研究较少。
• 在RGB-NIR对应关系任务上，模型优于现有自监督方法，证明了其在光谱间具有强大的泛化能力。
• 在RGB-RGB对应关系任务上，模型取得了具有竞争力的结果，表明同一架构即使在相同光谱内也具备良好的泛化性能。
• 循环一致性损失显著提升了重建精度与光流一致性，尤其在低纹理或高对比度区域表现更优。
• 光谱无关的损失函数有效减少了光谱偏差，使网络能够学习在不同成像模态间可迁移的特征。
• 该方法无需微调或重新训练即可在不同光谱对之间泛化，证明了统一框架在多光谱对应关系中的可行性。