[论文解读] Variational Capsules for Image Analysis and Synthesis

Huaibo Huang, Lingxiao Song+3 more|arXiv (Cornell University)|Jul 11, 2018

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 4

一句话总结

本文提出了变分胶囊（VCs），这是一种胶囊网络的概率扩展，通过潜在变量将图像建模为实体的组合，统一了图像分析与图像生成。通过使用与先验分布的差异来表示实体的存在，VCs 实现了解耦的、可控制的生成，具有高多样性，并在分类和属性预测任务中性能得到提升。

ABSTRACT

A capsule is a group of neurons whose activity vector models different properties of the same entity. This paper extends the capsule to a generative version, named variational capsules (VCs). Each VC produces a latent variable for a specific entity, making it possible to integrate image analysis and image synthesis into a unified framework. Variational capsules model an image as a composition of entities in a probabilistic model. Different capsules' divergence with a specific prior distribution represents the presence of different entities, which can be applied in image analysis tasks such as classification. In addition, variational capsules encode multiple entities in a semantically-disentangling way. Diverse instantiations of capsules are related to various properties of the same entity, making it easy to generate diverse samples with fine-grained semantic attributes. Extensive experiments demonstrate that deep networks designed with variational capsules can not only achieve promising performance on image analysis tasks (including image classification and attribute prediction) but can also improve the diversity and controllability of image synthesis.

研究动机与目标

• 将图像分析与生成统一为一个基于胶囊的联合概率框架。
• 将胶囊网络从纯判别模型扩展为联合判别-生成模型。
• 通过语义解耦的潜在表示，实现可控且多样的图像生成。
• 通过利用生成重建，提升图像分类与属性预测的准确性。
• 提供一种新的条件图像生成方法，可对语义属性进行细粒度控制。

提出的方法

• 每个变分胶囊生成一个代表特定实体的潜在变量，该变量被建模为与已知先验分布匹配的分布。
• 通过胶囊后验分布与先验分布之间的差异来衡量实体存在性，取代活动向量长度作为置信度度量。
• 编码器将输入图像映射到变分胶囊，近似潜在变量的后验分布。
• 解码器从掩码或采样的胶囊表示中重建图像，从而实现图像生成。
• 推理过程中，通过从先验分布中采样生成新样本，实现多样且可控的生成。
• 该框架采用类似变分自编码器（VAE）的架构，包含独立的编码器与解码器网络，通过重建损失与KL散度损失端到端训练。

实验结果

研究问题

• RQ1 胶囊网络能否被扩展为统一的生成与判别框架，以实现图像的联合分析与生成？
• RQ2 通过生成重建，变分胶囊能否提升图像分类与属性预测的性能？
• RQ3 VCs 中的解耦潜在表示能否实现对语义属性进行细粒度控制、多样化的图像生成？
• RQ4 使用与先验分布的差异来表示实体置信度，与使用活动向量长度相比有何优劣？
• RQ5 该框架能否在保持多个属性语义控制的同时，生成逼真且多样的样本？

主要发现

• 在MNIST数字分类任务中，该模型达到0.30%的错误率，优于先前的胶囊网络，并接近最先进水平。
• 在面部属性预测任务中，该模型在准确率与属性编辑可控性方面均表现出优越性能。
• 从相同激活的胶囊中生成的图像具有多样性，且能对属性（如眼镜样式）进行精细控制，同时保持身份一致性。
• 潜在表示之间的插值产生视觉上令人愉悦的、连续的面部属性过渡，证实了表示的解耦性与语义意义。
• 重建质量稳健，能保留关键图像细节，同时支持从采样潜在码生成高保真图像。
• 通过重建损失，该框架提升了图像分析的准确性，表明分析与生成组件之间存在相互促进的关系。