[论文解读] PolyGAN: High-Order Polynomial Generators

Grigorios G. Chrysos, Stylianos Moschoglou+2 more|arXiv (Cornell University)|Aug 19, 2019

Tensor decomposition and applications参考文献 34被引用 10

一句话总结

PolyGAN 提出了一种新颖的 GAN 生成器，采用由耦合张量分解参数化的高阶多项式函数，无需激活函数即可实现对数据分布的通用逼近。该方法通过分层线性网络高效建模高阶交互，在 CIFAR-10 和 ImageNet 上实现了最先进的 FID 和 Inception Score。

ABSTRACT

Generative Adversarial Networks (GANs) have become the gold standard when it comes to learning generative models for high-dimensional distributions. Since their advent, numerous variations of GANs have been introduced in the literature, primarily focusing on utilization of novel loss functions, optimization/regularization strategies and network architectures. In this paper, we turn our attention to the generator and investigate the use of high-order polynomials as an alternative class of universal function approximators. Concretely, we propose PolyGAN, where we model the data generator by means of a high-order polynomial whose unknown parameters are naturally represented by high-order tensors. We introduce two tensor decompositions that significantly reduce the number of parameters and show how they can be efficiently implemented by hierarchical neural networks that only employ linear/convolutional blocks. We exhibit for the first time that by using our approach a GAN generator can approximate the data distribution without using any activation functions. Thorough experimental evaluation on both synthetic and real data (images and 3D point clouds) demonstrates the merits of PolyGAN against the state of the art.

研究动机与目标

• 通过探索多项式函数逼近器，解决 GAN 生成器中非线性激活函数带来的理论与实际挑战。
• 通过共享因子的耦合张量分解，减少高阶多项式生成器中的参数爆炸问题。
• 设计一种仅基于线性层和卷积层的 GAN 生成器架构，实现可解释的、无激活函数的生成。
• 证明基于多项式的生成器在真实数据上可达到或超越标准 GAN 的性能。
• 在理论与架构层面，建立高阶多项式、张量分解与 GAN 中深层网络设计之间的联系。

提出的方法

• 将生成器建模为潜在空间中的高阶多变量多项式，其参数以高阶张量表示。
• 引入两种耦合张量分解——耦合 CP 分解与耦合嵌套 CP 分解——通过在多项式各阶之间共享因子来减少参数量。
• 使用仅包含线性层和卷积层的分层神经网络实现分解后的多项式生成器。
• 在 GAN 框架中端到端训练生成器，采用对抗损失，主生成路径中不使用任何非线性激活函数。
• 仅在最终输出层使用一个 tanh 激活函数进行归一化，以保持主架构的线性特性。
• 以 Stone–Weierstrass 定理作为理论依据，证明连续数据分布可被多项式逼近。

实验结果

研究问题

• RQ1 无激活函数的高阶多项式生成器能否像带有非线性激活的标准 GAN 生成器一样有效逼近复杂数据分布？
• RQ2 如何在保持表达能力的同时缓解高阶多项式生成器中的参数爆炸问题？
• RQ3 哪些张量分解策略能够实现对多项式交互在各阶之间的高效、分层建模？
• RQ4 无激活函数、仅使用线性层的生成器架构在图像和 3D 点云生成任务中能在多大程度上实现 SOTA 性能？
• RQ5 在合成与真实数据上，所提出的两种耦合张量分解（耦合 CP 与耦合嵌套 CP）在建模能力与泛化性能方面如何比较？

主要发现

• 在 CIFAR-10 上，PolyGAN 的 Inception Score 为 8.66 ± 0.14，FID 为 13.52 ± 0.60，优于原始 SNGAN（IS: 8.30 ± 0.11，FID: 14.70 ± 0.97）。
• 在 ImageNet 上，PolyGAN 的 IS 为 14.60 ± 0.15，FID 为 84.37 ± 6.37，优于原始 SAGAN（IS: 13.81 ± 0.21，FID: 138.20 ± 8.71）。
• 在 'swiss roll' 和 'astroid' 合成流形上，耦合嵌套 CP 分解生成的样本比耦合 CP 更加真实，避免了噪声异常点。
• 在正弦 2D 信号上，耦合 CP 分解完美捕捉了数据流形，未生成超出真实分布范围的点。
• 尽管性能有所提升，PolyGAN 的参数量仅略有增加——在 CIFAR-10 上增加约 3%，在 ImageNet 上增加约 0.6%。
• 该方法成功使用仅线性层生成了高质量图像和 3D 点云，证明当采用结构化的多项式参数化时，激活函数并非复杂生成任务的必要条件。