[论文解读] Product of Orthogonal Spheres Parameterization for Disentangled Representation Learning

Ankita Shukla, Sarthak Bhagat+3 more|arXiv (Cornell University)|Jul 22, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 8

一句话总结

该论文提出 PrOSe，一种正交球面参数化方法，通过在潜在空间块之间强制实施正交性，提升解耦表征学习效果，显著改善了表征的解耦程度。该方法在损失函数中添加了一个简单的正交化项，可无缝集成到 VAE 和自编码器等现有框架中，并在多个基准测试中实现最先进性能，同时减少信息泄漏并实现更平滑的属性插值。

ABSTRACT

Learning representations that can disentangle explanatory attributes underlying the data improves interpretabilty as well as provides control on data generation. Various learning frameworks such as VAEs, GANs and auto-encoders have been used in the literature to learn such representations. Most often, the latent space is constrained to a partitioned representation or structured by a prior to impose disentangling. In this work, we advance the use of a latent representation based on a product space of Orthogonal Spheres PrOSe. The PrOSe model is motivated by the reasoning that latent-variables related to the physics of image-formation can under certain relaxed assumptions lead to spherical-spaces. Orthogonality between the spheres is motivated via physical independence models. Imposing the orthogonal-sphere constraint is much simpler than other complicated physical models, is fairly general and flexible, and extensible beyond the factors used to motivate its development. Under further relaxed assumptions of equal-sized latent blocks per factor, the constraint can be written down in closed form as an ortho-normality term in the loss function. We show that our approach improves the quality of disentanglement significantly. We find consistent improvement in disentanglement compared to several state-of-the-art approaches, across several benchmarks and metrics.

研究动机与目标

• 通过将潜在因子建模为正交球面，利用图像生成中的物理独立性，提升解耦表征学习效果。
• 将复杂的非欧几里得潜在结构（如 Grassmannian、SO(3)）简化为带正交约束的球面乘积。
• 减少分区潜在空间中解耦属性之间的信息泄漏，提升生成过程中的可解释性与可控性。
• 开发一种可泛化、轻量级的正则化技术，可无缝集成到现有解耦框架（如 VAE 和自编码器）中。
• 通过实证验证，潜在块中的正交性可带来更清晰的属性解耦与更有意义的插值效果。

提出的方法

• 将潜在空间参数化为正交球面的乘积，其中每个球面对应一个解耦的可变因子。
• 通过可微分的损失项强制实施潜在块之间的正交性，将约束简化为闭式正则化形式。
• 将正交化项无缝集成到现有解耦框架（如 VAE、自编码器、MIX）中，无需架构重构。
• 为每个因子使用大小相等的潜在块，以确保正交性约束的解析可处理性与对称性。
• 将该方法应用于变分与自编码器模型（包括 β-VAE 和 Factor-VAE），以实现广泛的评估。
• 利用插值、t-SNE 可视化与属性预测任务评估解耦质量。

实验结果

研究问题

• RQ1 与标准分区潜在空间方法相比，正交球面乘积参数化是否能提升解耦质量？
• RQ2 在潜在块之间强制实施正交性是否能减少解耦属性之间的信息泄漏？
• RQ3 所提出的方法是否能无缝集成到 VAE 和自编码器等现有解耦框架中？
• RQ4 PrOSe 在多种数据集上的属性插值与解耦度量表现如何？
• RQ5 正交性约束是否能带来比基线方法更自然、更平滑的解耦生成效果？

主要发现

• PrOSe 在多个基准测试（包括 MNIST、2D Sprites 和 CelebA）中显著提升了解耦质量，t-SNE 图中显示属性分离更清晰。
• 插值结果表明，属性过渡更平滑且更有意义，未对其他属性（如面部形状或表情）造成意外改变。
• 属性预测模型的误分类率在使用 PrOSe 后上升，表明解耦因子间的信息泄漏减少。
• 在 β-VAE 和 Factor-VAE 上应用 PrOSe 时，mAP 指标达到最先进水平，且因子间泄漏减少。
• 该方法在保持高质量图像生成的同时提升了解耦性，经定性与定量分析验证。
• 在损失函数中添加一个简单的正交化项，即可在多种架构与数据集上实现一致的性能提升。