[论文解读] Training Triplet Networks with GAN

Maciej Zięba, Lei Wang|arXiv (Cornell University)|Apr 6, 2017

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

本文提出了一种新颖的方法，通过将三元组网络整合到生成对抗网络（GAN）框架中，使用三元组网络作为判别器来训练三元组网络。通过利用特征匹配和半监督训练，该模型仅使用16个特征即实现了最先进性能，在MNIST上达到97.50%的准确率，在CIFAR-10上达到80.97%，并使用简单的k-NN分类器进行分类，即使标注的三元组样本有限也表现优异。

ABSTRACT

Triplet networks are widely used models that are characterized by good performance in classification and retrieval tasks. In this work we propose to train a triplet network by putting it as the discriminator in Generative Adversarial Nets (GANs). We make use of the good capability of representation learning of the discriminator to increase the predictive quality of the model. We evaluated our approach on Cifar10 and MNIST datasets and observed significant improvement on the classification performance using the simple k-nn method.

研究动机与目标

• 通过利用GAN的表示学习能力，提升度量学习中三元组网络的性能。
• 通过结合无监督GAN训练与有监督三元组学习，解决度量学习中标注三元组数据有限的挑战。
• 证明仅使用极少特征（如16个）并结合k-NN分类器，即可实现优异的分类性能。
• 提供一个统一框架，使GAN中的判别器同时承担双重角色：区分真实与生成样本，以及学习基于三元组的度量表示。

提出的方法

• 将三元组网络用作GAN中的判别器，其特征层输出用于度量学习。
• 判别器通过组合损失进行训练：基于查询、正样本和负样本的有监督三元组损失，以及用于区分真实与生成样本的无监督GAN损失。
• 在生成器训练过程中应用特征匹配，即生成器最小化真实样本与生成样本在三元组网络中特征激活的L2距离。
• 为判别器的输出层采用修改后的Sigmoid函数，基于三元组网络的特征输出生成概率分数。
• 训练过程交替更新判别器（同时使用三元组损失和GAN损失）和生成器（通过特征匹配进行更新）。
• 对大规模数据集（如CIFAR-10）应用困难样本挖掘，以平衡训练中三元组的数量。

实验结果

研究问题

• RQ1 三元组网络能否在GAN框架中被有效训练，从而提升度量表示学习性能？
• RQ2 在标注数据稀缺的情况下，结合无监督GAN训练与有监督三元组学习是否能带来更好的性能？
• RQ3 仅使用16个特征并结合简单的k-NN分类器，能否实现高分类准确率？
• RQ4 所提出方法与单独训练三元组网络或GAN相比，表现如何？

主要发现

• 所提方法在MNIST上达到97.50%的分类准确率，在CIFAR-10上达到80.97%，仅使用16个特征和k-NN分类器，优于单独训练的三元组网络和GAN模型。
• 在MNIST上使用16个特征和100个标注样本时，模型达到97.50%的准确率，超过Hoffer & Ailon（2015）在相似条件下报告的87.10%。
• 在MNIST上使用256个特征时，模型准确率达到98.68%，表明其在特征维度增加时仍具可扩展性。
• 该模型显著优于单独训练的GAN（MNIST上为96.48%，CIFAR-10上为55.39%）和单独训练的三元组网络（MNIST上为81.27%，CIFAR-10上为70.76%），尤其在CIFAR-10上优势明显。
• 在生成器训练中使用特征匹配，提升了三元组网络特征表示的质量，从而增强了下游分类性能。
• 即使在极少量标注数据下，该方法也表现优异，例如在CIFAR-10上仅使用5,000个标注样本，在MNIST上仅使用100个标注样本时仍表现强劲。