[论文解读] RPCANet: Deep Unfolding RPCA Based Infrared Small Target Detection

Fengyi Wu, Tianfang Zhang+3 more|arXiv (Cornell University)|Nov 2, 2023

Infrared Target Detection Methodologies被引用 4

一句话总结

该论文提出RPCANet，一种通过将松弛的鲁棒主成分分析（RPCA）优化问题展开为神经网络，实现可解释性红外小目标检测（ISTD）的深度学习框架。通过使用神经层对目标提取和背景估计建模为可学习的近端算子，RPCANet在保持更高可解释性、减少误报率的同时，相比现有方法实现了更优的性能表现，并且参数量更低。

ABSTRACT

Deep learning (DL) networks have achieved remarkable performance in infrared small target detection (ISTD). However, these structures exhibit a deficiency in interpretability and are widely regarded as black boxes, as they disregard domain knowledge in ISTD. To alleviate this issue, this work proposes an interpretable deep network for detecting infrared dim targets, dubbed RPCANet. Specifically, our approach formulates the ISTD task as sparse target extraction, low-rank background estimation, and image reconstruction in a relaxed Robust Principle Component Analysis (RPCA) model. By unfolding the iterative optimization updating steps into a deep-learning framework, time-consuming and complex matrix calculations are replaced by theory-guided neural networks. RPCANet detects targets with clear interpretability and preserves the intrinsic image feature, instead of directly transforming the detection task into a matrix decomposition problem. Extensive experiments substantiate the effectiveness of our deep unfolding framework and demonstrate its trustworthy results, surpassing baseline methods in both qualitative and quantitative evaluations.

研究动机与目标

• 通过整合领域特定的优化先验，解决深度学习在红外小目标检测（ISTD）中黑箱特性的问题。
• 克服纯数据驱动模型的局限性，后者常因下采样导致过拟合或丢失小目标。
• 通过将RPCA中的物理与数学约束嵌入神经架构，提升ISTD中的可解释性与可靠性。
• 开发一种网络，在保持内在图像特征的同时，实现高检测准确率与低误报率。

提出的方法

• RPCANet将ISTD建模为一个松弛的RPCA问题，将图像分解为稀疏目标与低秩背景。
• 该网络将RPCA模型的迭代优化步骤展开为深度架构，用可学习的神经层替代复杂的矩阵运算。
• 目标提取模块（TEM）利用神经层近似稀疏性约束函数，替代传统软阈值化方法。
• 背景提取模块（BEM）采用卷积层模拟低秩背景估计的近端算子，避免使用奇异值阈值化。
• 图像重建模块（IRM）通过迭代结合估计的目标与背景来重建输入图像，支持端到端训练。
• 该框架通过重建损失进行端到端训练，使网络能够学习最优参数，同时保持物理可解释性。

实验结果

研究问题

• RQ1 能否通过将模型驱动先验嵌入可学习架构，有效将深度展开网络应用于红外小目标检测？
• RQ2 如何在不牺牲检测准确率的前提下，提升基于深度学习的ISTD中的可解释性？
• RQ3 神经网络能否比传统阈值化方法更有效地近似RPCA中的近端算子，同时降低计算复杂度？
• RQ4 在复杂红外场景中，引入领域特定的优化步骤能在多大程度上提升检测性能与鲁棒性？
• RQ5 结合模型驱动与数据驱动方法的混合模型，是否能在ISTD中超越纯数据驱动或纯模型驱动的基线模型？

主要发现

• 在NUDT-SIRST数据集上，RPCANet的F1-score达到0.921，mIoU达到0.812，优于所有现有最先进方法。
• 在NUDT-SIRST数据集上，模型AUC达到0.9857，位列所有对比方法中的最高水平之一。
• 与UIUNet和AGPCNet等数据驱动模型相比，RPCANet显著降低了误报率，后者因过拟合和高误报率而表现不佳。
• 该网络仅使用120万个参数，远低于UIUNet（210万个）和AGPCNet（340万个），展现出极高的参数效率。
• 可视化结果表明，RPCANet在有效抑制背景杂波的同时，能够保持小目标的形状与空间完整性。
• 消融实验验证了IRM与基于残差块的proxNet设计对性能的显著提升作用，其中IRM使mIoU提升了5.2%。