[论文解读] Progressive Learning and Disentanglement of Hierarchical Representations

Zhiyuan Li, Jaideep Vitthal Murkute+2 more|arXiv (Cornell University)|Feb 24, 2020

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 11

一句话总结

该论文提出 pro-VLAE，一种渐进式学习框架，通过从高层抽象到低层细节逐步增加网络容量来训练变分自编码器，从而实现对层次化表征的更好解耦。通过从抽象特征开始并逐步添加低层细节，pro-VLAE 在基准数据集上实现了优越的解耦性能，优于现有方法（包括 β-VAE、VLAE 和师生模型），在三个指标上表现更优，其中包括一个基于互信息的新指标。

ABSTRACT

Learning rich representation from data is an important task for deep generative models such as variational auto-encoder (VAE). However, by extracting high-level abstractions in the bottom-up inference process, the goal of preserving all factors of variations for top-down generation is compromised. Motivated by the concept of "starting small", we present a strategy to progressively learn independent hierarchical representations from high- to low-levels of abstractions. The model starts with learning the most abstract representation, and then progressively grow the network architecture to introduce new representations at different levels of abstraction. We quantitatively demonstrate the ability of the presented model to improve disentanglement in comparison to existing works on two benchmark data sets using three disentanglement metrics, including a new metric we proposed to complement the previously-presented metric of mutual information gap. We further present both qualitative and quantitative evidence on how the progression of learning improves disentangling of hierarchical representations. By drawing on the respective advantage of hierarchical representation learning and progressive learning, this is to our knowledge the first attempt to improve disentanglement by progressively growing the capacity of VAE to learn hierarchical representations.

研究动机与目标

• 为解决深度生成模型中高层抽象与完全因子保留之间的冲突，尤其是在解耦层次化表征时面临的挑战。
• 探究渐进式学习——即从高层抽象到低层细节逐步增长模型容量——是否能改善变分自编码器中的解耦性能。
• 证明以分层、逐步的方式学习表征，相比同时学习，能实现更好的解耦效果。
• 提出一种新指标，以补充互信息差距（MIG）用于评估层次化表征的解耦性能。

提出的方法

• 模型从专注于最抽象表征的浅层 VAE 架构开始训练。
• 随着训练进行，通过在抽象层次上逐层增加新的潜在层来逐步扩展网络架构。
• 每个新增层均通过重构损失与正则化目标的组合进行训练，以在该抽象层级上促进因子的解耦。
• 该方法基于变分阶梯自编码器（VLAE）框架，但引入了随时间逐步增长容量的训练调度策略。
• 提出一种基于互信息的新解耦度量指标，以更好地评估层次化解耦性能。
• 训练过程采用类似课程学习的策略，即模型先学习高层语义，再逐步引入更细粒度的细节。

实验结果

研究问题

• RQ1 从高层抽象到低层细节的渐进式容量增长，是否能改善层次化变分自编码器中的解耦性能？
• RQ2 与同时训练相比，渐进式学习策略在多个抽象层级上的解耦质量如何？
• RQ3 所提出的方法在解耦层次化因子方面，相较于 β-VAE、VLAE 和师生模型等现有方法，优势有多大？
• RQ4 渐进式训练调度是否导致信息在不同抽象层级上的分配更加结构化，如通过互信息分解所衡量的那样？
• RQ5 所提出的方法能否以分层且可解释的方式解耦高阶（如性别、数字身份）和低阶（如眼影、笔画宽度）因子？

主要发现

• pro-VLAE 在 MNIST 和 CelebA 数据集上，三个评估指标（包括所提出的基于互信息的指标）均达到当前最优的解耦性能。
• 输入与潜在变量之间的互信息在各层逐步变化：在 3DShapes 数据集中，$I(\bm{x};\bm{z}_3)$ 从 10.59 降至 6.94，而 $I(\bm{x};\bm{z}_2)$ 从 0.02 增至 5.98，表明信息更有效地分配到了相关层级。
• 总互信息 $I(\bm{x};\bm{z})$ 从 10.61 增至 12.84，表明整体表征学习能力得到提升。
• 师生模型在互信息分配上的变化更缓慢，且 $I_{over}$（纠缠信息）更高，表明由于容量和监督约束，其解耦效果较差。
• 定性分析表明，深层网络解耦高阶属性（如性别、种族），而浅层网络捕捉低阶细节（如眼影、发质），且从深层到浅层的独立表征数量逐渐减少。
• 渐进式策略使模型能够先学习抽象表征，再逐步解耦低阶因子，展示了支持更好解耦的分层学习轨迹。