[论文解读] Unsupervised Foreground Extraction via Deep Region Competition

Peiyu Yu, Sirui Xie+4 more|arXiv (Cornell University)|Oct 29, 2021

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出深度区域竞争（DRC），一种完全无监督的前景提取方法，结合基于能量的先验与专家混合（MoE）生成建模，利用像素重分配作为归纳偏差以建模背景规律性。DRC 通过期望最大化（EM）迭代优化前景-背景划分，实现区域竞争，在复杂真实世界及多目标场景中取得最先进性能，包括对未见物体类别的零样本泛化能力。

ABSTRACT

We present Deep Region Competition (DRC), an algorithm designed to extract foreground objects from images in a fully unsupervised manner. Foreground extraction can be viewed as a special case of generic image segmentation that focuses on identifying and disentangling objects from the background. In this work, we rethink the foreground extraction by reconciling energy-based prior with generative image modeling in the form of Mixture of Experts (MoE), where we further introduce the learned pixel re-assignment as the essential inductive bias to capture the regularities of background regions. With this modeling, the foreground-background partition can be naturally found through Expectation-Maximization (EM). We show that the proposed method effectively exploits the interaction between the mixture components during the partitioning process, which closely connects to region competition, a seminal approach for generic image segmentation. Experiments demonstrate that DRC exhibits more competitive performances on complex real-world data and challenging multi-object scenes compared with prior methods. Moreover, we show empirically that DRC can potentially generalize to novel foreground objects even from categories unseen during training.

研究动机与目标

• 解决现有方法依赖手工特征或需要人工干预的问题，以应对复杂真实世界图像中无监督前景提取的挑战。
• 开发一种通用的归纳偏差，以在无显式监督下捕捉背景规律性，从而实现对前景物体的鲁棒解耦。
• 通过专家混合（MoE）统一基于能量的先验与生成建模，实现原则性、可微的前景-背景划分。
• 实现对训练期间未见的新物体类别的零样本泛化，克服先前弱监督或基于 GAN 方法的局限性。
• 明确识别前景物体与背景区域，不同于许多无监督方法产生的模糊或未分配的掩码。

提出的方法

• DRC 将前景与背景建模为专家混合（MoE）生成模型中的组件，其中每个专家代表一种区域类型（前景或背景）。
• 引入学习到的像素重分配作为关键归纳偏差，以捕捉背景区域中的结构规律性，提升对复杂纹理与图案的鲁棒性。
• 该方法将前景-背景划分形式化为一个基于广义贝叶斯准则的优化问题，受区域竞争启发，并通过期望最大化（EM）求解。
• 在 EM 过程中，算法在像素分配至组件（E 步）与更新 MoE 参数（M 步）之间交替进行，利用组件间的相互抑制机制优化分割结果。
• 基于能量的先验端到端学习，使模型能够隐式学习形状、颜色与纹理等感知线索，以实现有效解耦。
• 该框架天然支持多目标分割，并将背景显式建模为独立组件，从而实现可解释且解耦的输出。

实验结果

研究问题

• RQ1 基于专家混合（MoE）与基于能量的先验的深度生成模型，能否实现无需人工标注的完全无监督前景提取？
• RQ2 如何在无需显式背景数据或监督的情况下，将背景规律性建模为一种归纳偏差？
• RQ3 通过前景与背景组件之间的区域竞争，能否提升在背景杂乱的复杂场景中的分割性能？
• RQ4 该模型在未见物体类别上的泛化能力有多强，尤其是在训练中未出现的新类别上？
• RQ5 所提出的方法是否能提供明确且可解释的前景物体与背景区域识别，区别于许多先前的无监督方法？

主要发现

• DRC 在复杂真实世界数据集（如 Birds、Dogs 和 Cars）上达到最先进性能，无论在定性还是定量分割上均优于 ReDO、IODINE 和 Slot-Attention 等方法。
• 该方法在未见物体类别上表现出有效的泛化能力，体现在测试集中包含训练中未出现的新类别物体时仍保持优异性能。
• 在 TM-dSprites 数据集上，DRC 成功分割多个物体，并在背景复杂或存在干扰物的情况下仍保持清晰的前景-背景分离。
• 模型对颜色、纹理与形状的变化表现出鲁棒性，如在 Birds、Dogs 和 Cars 数据集中跨多样化数据分布均保持一致的性能表现。
• 当单一物体因纹理或明暗变化被分割到多个槽位时，观察到失败案例，表明未来工作需加强对象性建模。
• 无区域竞争的先验采样生成的前景与背景区域更不真实且分离效果差，表明区域竞争对有效解耦至关重要。