[论文解读] Time Travelling Pixels: Bitemporal Features Integration with Foundation Model for Remote Sensing Image Change Detection

Keyan Chen, Chengyang Liu+6 more|arXiv (Cornell University)|Dec 23, 2023

Remote-Sensing Image Classification被引用 4

一句话总结

该论文提出时间旅行像素（TTP），一种新颖方法，通过利用低秩微调和时间旅行激活门，将分割一切模型（SAM）基础模型整合到遥感变化检测中，以建模双时相图像差异。TTP在LEVIR-CD数据集上达到最先进性能，F1值达92.1%，IoU达85.6%，在复杂时空场景中展现出卓越的泛化能力和鲁棒性。

ABSTRACT

Change detection, a prominent research area in remote sensing, is pivotal in observing and analyzing surface transformations. Despite significant advancements achieved through deep learning-based methods, executing high-precision change detection in spatio-temporally complex remote sensing scenarios still presents a substantial challenge. The recent emergence of foundation models, with their powerful universality and generalization capabilities, offers potential solutions. However, bridging the gap of data and tasks remains a significant obstacle. In this paper, we introduce Time Travelling Pixels (TTP), a novel approach that integrates the latent knowledge of the SAM foundation model into change detection. This method effectively addresses the domain shift in general knowledge transfer and the challenge of expressing homogeneous and heterogeneous characteristics of multi-temporal images. The state-of-the-art results obtained on the LEVIR-CD underscore the efficacy of the TTP. The Code is available at \url{https://kychen.me/TTP}.

研究动机与目标

• 通过从基础模型迁移通用知识，解决遥感变化检测中标注数据有限和领域偏移的挑战。
• 克服现有基础模型在捕捉双时相遥感图像中空间同质性和时间异质性方面的局限。
• 在传统深度学习模型因数据稀缺和领域偏移而表现不佳的复杂时空环境中，提升模型泛化能力。
• 开发一种高效、参数高效的模型，保留基础模型的语义理解能力，同时适应变化检测任务。
• 通过将时间建模整合到视觉基础模型的语义特征空间中，实现高精度、密集像素级变化检测。

提出的方法

• 利用SAM（分割一切模型）作为视觉主干网络，将通用图像理解能力迁移至遥感变化检测任务。
• 对SAM编码器应用低秩微调，以适应其空间语义至遥感图像，从而在不微调完整主干网络的前提下缓解领域偏移。
• 引入时间旅行激活门，通过允许一个时相的特征影响另一时相的语义表征，实现时间特征交互，增强双时相建模能力。
• 采用多层级、轻量级解码头，从高层特征预测密集变化图，同时保留空间分辨率和细节。
• 训练过程中冻结SAM主干网络，仅训练低秩适配器和时间旅行门，确保参数效率和快速收敛。
• 使用数据增强（旋转、翻转、裁剪、光度失真）和带有线性热身的余弦退火学习率调度器，以提升训练稳定性和泛化能力。

实验结果

研究问题

• RQ1 尽管存在领域偏移，视觉基础模型（如SAM）的通用知识是否能有效迁移到遥感变化检测任务中？
• RQ2 如何对基础模型进行适配，以同时捕捉双时相遥感图像中的同质（未改变）和异质（已改变）区域？
• RQ3 在基础模型的语义特征空间中实现时间建模，需要哪些架构组件？
• RQ4 低秩微调是否能有效缓解领域偏移，同时保持模型在遥感应用中的泛化能力？
• RQ5 轻量级、高效的解码头是否能在不微调基础模型全部参数的前提下维持高性能？

主要发现

• TTP在LEVIR-CD数据集上实现最先进性能，F1值达92.1%，IoU达85.6%，优于先前最先进方法（如WNet：F1 90.7%，IoU 82.9%；CSTSUNet：F1 90.7%，IoU 83.0%）。
• 消融实验表明，若移除时间旅行门（ttg），F1降至91.1%，IoU降至84.2%，证明其在建模时间差异中的关键作用。
• 若移除多层级解码头（ml），性能进一步下降至F1 90.6%，IoU 82.8%，表明其在保留空间细节方面的重要性。
• 若移除低秩微调，性能急剧下降至F1 74.6%，IoU 59.5%，证明其在弥合自然图像与遥感图像之间领域差距中的必要性。
• 完整TTP模型实现99.2%的整体准确率，表明在变化与未变化区域分类中具有高度一致性。
• 模型仅通过微调少量参数即保持强性能，证实其在数据稀缺遥感场景下的高效性与可扩展性。