[论文解读] Weakly Supervised Learning of Foreground-Background Segmentation using Masked RBMs

Nicolas Heess, Nicolas Le Roux+1 more|arXiv (Cornell University)|Jul 19, 2011

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 6

一句话总结

该论文提出了一种基于掩码RBM的模型，仅使用弱监督即可在杂乱图像中学习前景-背景分割：通过在一般自然图像上进行训练以构建背景模型，并将前景检测为异常值。该方法独立于背景对前景形状和外观进行联合建模，从而实现鲁棒的生成和更优的识别性能，尤其在标注数据有限的情况下表现更佳。

ABSTRACT

We propose an extension of the Restricted Boltzmann Machine (RBM) that allows the joint shape and appearance of foreground objects in cluttered images to be modeled independently of the background. We present a learning scheme that learns this representation directly from cluttered images with only very weak supervision. The model generates plausible samples and performs foreground-background segmentation. We demonstrate that representing foreground objects independently of the background can be beneficial in recognition tasks.

研究动机与目标

• 开发一种生成模型，能够在自然图像中独立于背景杂乱信息学习前景对象表征。
• 通过仅使用一般自然图像进行背景建模，实现前景-背景分割的弱监督学习。
• 通过学习对背景变化不敏感的前景表征，提升识别性能。
• 证明联合建模形状与外观可提升分割与生成质量。

提出的方法

• 将掩码RBM扩展为同时建模单个前景对象和背景作为两个潜在图像，其中前景仅在二值掩码为1的位置可见。
• 使用Beta RBM对背景图像进行建模，以捕捉像素强度的均值与方差。
• 通过具有两个可见层的专用RBM，联合建模前景的连续外观图像与二值形状掩码。
• 通过在训练图像中识别背景模型中的异常值来学习前景模型，无需人工标注。
• 通过近似后验估计给定观测数据的掩码、前景外观与背景图像进行推理。
• 通过在不同前景对象类别间复用同一背景模型，实现迁移学习。

实验结果

研究问题

• RQ1 生成模型能否仅通过弱监督从杂乱图像中学习前景对象分割？
• RQ2 与独立建模相比，联合建模形状与外观是否能提升分割与生成性能？
• RQ3 在训练数据有限的情况下，忽略背景在多大程度上能提升识别性能？
• RQ4 通过共享背景模型，该模型能否在不同对象类别与背景变化下实现泛化？

主要发现

• 在5000张图像的测试集上，该模型实现了96%的像素级分割准确率，显著优于CRF基线模型（79%）。
• 在每类仅10个训练样本的低数据识别任务中，FG-BG模型达到88%的分类准确率，而标准RBM仅为66%，表明其在数据稀缺情况下具有更强的鲁棒性。
• 尽管隐藏单元数量相对较少，该模型仍成功生成了多样化且逼真的面部样本，涵盖性别、头部姿态与发型的多样性。
• 当在不同背景中粘贴人脸进行测试时，80%的情况下该模型能正确检索到对应图像，而标准Beta RBM仅为23%，表明背景干扰显著降低。
• 随机重分配推断出的掩码导致分割性能显著下降，证实模型学习到了有意义且依赖于数据的形状表征。