[论文解读] RUN: Reversible Unfolding Network for Concealed Object Segmentation

Chunming He, Runshi Zhang+8 more|ArXiv.org|Jan 30, 2025

Adversarial Robustness in Machine Learning被引用 3

一句话总结

RUN 引入一个深度展开网络，在掩码和 RGB 两个域中执行前景-背景可逆建模，以改进隐蔽物体分割，具备多阶段的 SOFS/ROBE 框架和辅助重建路径，聚焦于不确定区域。

ABSTRACT

Existing concealed object segmentation (COS) methods frequently utilize reversible strategies to address uncertain regions. However, these approaches are typically restricted to the mask domain, leaving the potential of the RGB domain underexplored. To address this, we propose the Reversible Unfolding Network (RUN), which applies reversible strategies across both mask and RGB domains through a theoretically grounded framework, enabling accurate segmentation. RUN first formulates a novel COS model by incorporating an extra residual sparsity constraint to minimize segmentation uncertainties. The iterative optimization steps of the proposed model are then unfolded into a multistage network, with each step corresponding to a stage. Each stage of RUN consists of two reversible modules: the Segmentation-Oriented Foreground Separation (SOFS) module and the Reconstruction-Oriented Background Extraction (ROBE) module. SOFS applies the reversible strategy at the mask level and introduces Reversible State Space to capture non-local information. ROBE extends this to the RGB domain, employing a reconstruction network to address conflicting foreground and background regions identified as distortion-prone areas, which arise from their separate estimation by independent modules. As the stages progress, RUN gradually facilitates reversible modeling of foreground and background in both the mask and RGB domains, directing the network's attention to uncertain regions and mitigating false-positive and false-negative results. Extensive experiments demonstrate the superior performance of RUN and highlight the potential of unfolding-based frameworks for COS and other high-level vision tasks. We will release the code and models.

研究动机与目标

• 通过解决前景/背景分离中的不确定性，并将可逆建模扩展到掩码域之外进入 RGB 空间以推动 COS。
• 开发一个理论上有据可循的 COS 模型，利用残差稀疏约束来最小化分割不确定性。
• 将优化过程展开为一个多阶段网络，每个阶段通过可逆模块细化前景和背景。
• 在多项 COS 任务中验证 RUN 的有效性，并强调展开式框架在高层视觉中的潜力。

提出的方法

• 将 COS 表述为前景-背景分离问题，目标函数包含用于降低分割不确定性的残差稀疏约束。
• 将迭代优化展开为多阶段网络；每个阶段包含一个面向分割的前景分离（SOFS）模块和一个面向重建的背景提取（ROBE）模块。
• SOFS 在掩码域中使用可逆状态空间（RSS）来利用非局部信息细化分割掩码。
• ROBE 通过在 RGB 域中重建图像并细化背景，将对极易失真的区域识别为前景/背景估计冲突之处，并进行改进。
• 结合一个基于编码器派生语义特征 E(C) 的可逆状态空间（RSS）融合，增强分割效果。
• 采用包含分割项（加权 BCE 与 IoU，以及边缘的 Dice）和重建项在内的联合损失，对掩码和背景重建进行监督。

实验结果

研究问题

• RQ1 将可逆建模应用于掩码和 RGB 两个域时，COS 是否受益？
• RQ2 将基于模型的优化展开为多阶段网络是否能提高隐蔽物体分割的准确性和鲁棒性？
• RQ3 通过重建驱动的失真感知，显式聚焦于不确定区域对模型的影响如何？

主要发现

• RUN 在多项 COS 任务（包括伪装物体检测及相关高层视觉任务）中实现了卓越性能。
• 它提供了一个可即插即用的框架，能够与现有方法结合以提升 COS 表现。
• 逐步阶段实现了前景和背景在掩码域和 RGB 域中的可逆建模，引导注意力聚焦于不确定区域，降低误报/漏报。
• RSS 与双 VSS 模块实现了有效的非局部和多尺度信息获取，细化不确定边界。
• 该架构在 COD 相关基准及相关分割任务上相对于若干基线表现出提升。