[论文解读] TripletGAN: Training Generative Model with Triplet Loss

Gongze Cao, Yezhou Yang+4 more|arXiv (Cornell University)|Nov 14, 2017

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 9

一句话总结

本文提出TripletGAN，一种新型的GAN训练方法，通过用三元组损失替代判别器中的标准分类损失，实现了更好的模式覆盖，并通过积分概率度量（IPM）分析实现了向真实数据分布的理论收敛。通过促使生成器在同类别内最大化样本间距离，TripletGAN有效缓解了模式崩溃问题，同时在CIFAR-10、STL-10和CelebA基准上保持了强大的生成质量。

ABSTRACT

As an effective way of metric learning, triplet loss has been widely used in many deep learning tasks, including face recognition and person-ReID, leading to many states of the arts. The main innovation of triplet loss is using feature map to replace softmax in the classification task. Inspired by this concept, we propose here a new adversarial modeling method by substituting the classification loss of discriminator with triplet loss. Theoretical proof based on IPM (Integral probability metric) demonstrates that such setting will help the generator converge to the given distribution theoretically under some conditions. Moreover, since triplet loss requires the generator to maximize distance within a class, we justify tripletGAN is also helpful to prevent mode collapse through both theory and experiment.

研究动机与目标

• 为解决GAN中长期存在的模式崩溃问题，即生成器无法覆盖所有数据模式。
• 通过用三元组损失替代判别器的分类损失，提升训练稳定性和生成器多样性。
• 通过积分概率度量（IPM）分析，理论上证明生成器可收敛至真实数据分布。
• 通过实证验证，TripletGAN在生成样本多样性与模式覆盖方面优于原始GAN，尤其在高精度人脸生成任务中表现更优。
• 探索在无显式类别标签的情况下，将度量学习原则整合到对抗训练中的可行性。

提出的方法

• 将判别器中的标准交叉熵分类损失替换为三元组损失，以最小化嵌入空间中的类内距离并最大化类间距离。
• 训练生成器以最大化嵌入空间中虚假样本之间的距离，从而促进多样性并减少模式崩溃。
• 使用嵌入网络将真实样本和虚假样本映射到低维空间，并在该空间中计算三元组损失。
• 理论分析表明，三元组损失的设定对应于最小化一个IPM，从而在较弱条件下确保生成器收敛至真实数据分布。
• 采用标准的DCGAN类架构，且不使用批归一化，以公平评估三元组损失的内在优势。
• 使用困难负样本挖掘策略，在训练过程中选择具有挑战性的三元组，以提升判别器的判别能力。

实验结果

研究问题

• RQ1 将判别器的分类损失替换为三元组损失，是否能带来GAN中更好的收敛性和模式覆盖？
• RQ2 在生成器训练目标中使用三元组损失，是否有助于防止模式崩溃？
• RQ3 IPM的理论收敛保证能否通过三元组损失推广至对抗训练？
• RQ4 在样本多样性与Inception Score方面，TripletGAN相较于原始GAN及其他SOTA GAN变体表现如何？
• RQ5 在无显式类别标签的条件下，三元组损失能否在条件GAN中有效应用？

主要发现

• 在CIFAR-10上，TripletGAN的Inception Score达到4.42 ± 0.22，显著优于原始GAN（1.85 ± 0.04）和WGAN（2.33 ± 0.04）。
• 在STL-10上，TripletGAN的Inception Score达到6.44 ± 0.31，超过EBGAN（5.73 ± 0.20）和WGAN。
• 在CelebA上，TripletGAN在64个样本中生成了21张男性人脸，而原始GAN仅生成7张，表明其在人口统计分布和模式覆盖方面更具平衡性。
• 损失曲线显示，TripletGAN能维持更长的训练动态，因为判别器损失不会像原始GAN那样在π处饱和，这是由于硬负样本持续提供更新信号。
• 即使在不使用批归一化的情况下，TripletGAN仍能生成多样且高质量的样本，证明该方法对网络架构选择具有内在鲁棒性。
• 理论分析确认，判别器中的三元组损失对应于最小化一个IPM，从而在较弱条件下确保生成器收敛至真实数据分布。