[论文解读] Towards causal generative scene models via competition of experts

Julius von Kügelgen, Ivan Ustyuzhaninov+3 more|arXiv (Cornell University)|Apr 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 21

一句话总结

该论文提出ECON，一种基于竞争专家的因果生成场景模型，能够从无标签图像中学习模块化、对象特定的表征。通过按深度顺序的序列化生成与推理过程，使专家专门化于重复出现的场景组件，该模型实现了可控采样以及具有正确遮挡和深度分层的物理上合理的对象重组。

ABSTRACT

Learning how to model complex scenes in a modular way with recombinable components is a pre-requisite for higher-order reasoning and acting in the physical world. However, current generative models lack the ability to capture the inherently compositional and layered nature of visual scenes. While recent work has made progress towards unsupervised learning of object-based scene representations, most models still maintain a global representation space (i.e., objects are not explicitly separated), and cannot generate scenes with novel object arrangement and depth ordering. Here, we present an alternative approach which uses an inductive bias encouraging modularity by training an ensemble of generative models (experts). During training, experts compete for explaining parts of a scene, and thus specialise on different object classes, with objects being identified as parts that re-occur across multiple scenes. Our model allows for controllable sampling of individual objects and recombination of experts in physically plausible ways. In contrast to other methods, depth layering and occlusion are handled correctly, moving this approach closer to a causal generative scene model. Experiments on simple toy data qualitatively demonstrate the conceptual advantages of the proposed approach.

研究动机与目标

• 开发一种能够捕捉视觉场景因果结构的、物理上合理的组合性生成模型。
• 解决整体性生成模型在处理具有非平凡排列与遮挡的复杂多对象场景时的局限性。
• 在不依赖全局共享特征空间的前提下，支持无监督学习对象特定的表征。
• 通过模块化、专业化的专家，实现对对象的可控生成与重组。
• 将场景生成建模为尊重物理约束（如遮挡）的序列化、深度有序过程。

提出的方法

• 该模型使用一组生成模型（专家），每个专家专门用于表示特定的对象类别或概念。
• 在训练过程中，专家竞争以解释场景的某一部分，仅胜出的专家会更新其对剩余未解释区域的预测。
• 场景生成按从后向前的深度顺序进行，从而自然地实现遮挡与分层效果。
• 推理过程则反向进行：在每一步，专家竞争以解释最显著的未解释区域，从而实现对遮挡对象的修复生成。
• 竞争机制促使专家自然专业化，每个专家学习生成其指定对象类别的完整、无遮挡实例。
• 该模型假设已知对象类别的最大数量K，并假设在给定形状与对象的条件下，像素值条件独立地服从高斯分布。

实验结果

研究问题

• RQ1 无监督模型能否通过专家之间的竞争，将复杂场景分解为可重组的对象特定组件？
• RQ2 具有序列化、深度有序结构的生成模型能否在场景组合中正确处理遮挡与深度分层？
• RQ3 专家之间的竞争是否能自然导致对不同对象类别的专业化，而无需显式监督？
• RQ4 该模型能否通过重新组合在不同对象类别上训练的专家，生成新颖的场景组合？
• RQ5 与整体性生成模型相比，该模块化、专家驱动的方法在建模组合性与因果性场景结构方面表现如何？

主要发现

• ECON模型通过竞争专家训练，成功地将场景分解为按深度顺序排列的对象图层。
• 专家专门化于不同的对象类别，对象被识别为在训练图像中反复出现的连续区域。
• 通过选择特定专家，模型支持对单个对象的可控采样，实现模块化复用。
• 通过以新的深度顺序排列重新组合专家，模型可生成新颖的场景组合，同时保持物理合理性。
• 在推理过程中，遮挡区域被修复生成，使专家能够学习生成完整、无遮挡的对象实例。
• 该方法在简单玩具数据上展示了在建模组合性与因果性场景生成方面的定性成功，超越了整体性生成模型。