[论文解读] TVAE: Triplet-Based Variational Autoencoder using Metric Learning

Haque Ishfaq, Assaf Hoogi+1 more|arXiv (Cornell University)|Feb 13, 2018

Domain Adaptation and Few-Shot Learning参考文献 7被引用 12

一句话总结

该论文提出了一种基于三元组的变分自编码器（TVAE），这是一种新颖的框架，通过在标准 VAE 目标之外优化三元组损失，将深度度量学习整合到变分自编码器中。通过在图像三元组（锚点、正样本、负样本）上进行训练，TVAE 学习到一个更具结构化、细粒度的潜在空间，能够保留语义相似性，在 MNIST 数据集上实现了 95.60% 的三元组准确率，显著优于标准 VAE 的 75.08%。

ABSTRACT

Deep metric learning has been demonstrated to be highly effective in learning semantic representation and encoding information that can be used to measure data similarity, by relying on the embedding learned from metric learning. At the same time, variational autoencoder (VAE) has widely been used to approximate inference and proved to have a good performance for directed probabilistic models. However, for traditional VAE, the data label or feature information are intractable. Similarly, traditional representation learning approaches fail to represent many salient aspects of the data. In this project, we propose a novel integrated framework to learn latent embedding in VAE by incorporating deep metric learning. The features are learned by optimizing a triplet loss on the mean vectors of VAE in conjunction with standard evidence lower bound (ELBO) of VAE. This approach, which we call Triplet based Variational Autoencoder (TVAE), allows us to capture more fine-grained information in the latent embedding. Our model is tested on MNIST data set and achieves a high triplet accuracy of 95.60% while the traditional VAE (Kingma & Welling, 2013) achieves triplet accuracy of 75.08%.

研究动机与目标

• 解决标准 VAE 在捕捉潜在表示中细粒度语义结构方面的局限性。
• 将深度度量学习整合到 VAE 训练中，以提升学习嵌入的质量。
• 使 VAE 能够保留数据点之间的相对相似性关系，尤其是在低资源或极端分类场景下。
• 通过结合重建损失、KL 散度和三元组损失，同时提升表征学习和生成性能。
• 证明所提出方法可在不降低图像生成质量的前提下，增强潜在空间中的语义结构。

提出的方法

• 该模型采用标准 VAE 架构，共享编码器和解码器网络，用于处理三元组中的三个输入。
• 编码器将输入图像映射为潜在均值向量，用于基于相对距离计算三元组损失。
• 三元组损失定义为 $\mathcal{L}_{triplet} = \max\{0, ||f(x_a) - f(x_p)||_2 - ||f(x_a) - f(x_n)||_2 + m\}$，其中 $m$ 为边界值。
• 总损失为 $\mathcal{L}_{TVAE} = \mathcal{L}_{rec} + \mathcal{L}_{KL} + \mathcal{L}_{triplet}$，结合了重建损失、KL 散度和三元组损失组件。
• 训练过程中，三元组被采样，使得锚点与正样本的相似度高于与负样本的相似度。
• 模型通过反向传播端到端训练，以最小化联合损失函数。

实验结果

研究问题

• RQ1 将基于三元组的度量学习整合到 VAE 中，能否改善学习到的潜在表示的语义结构？
• RQ2 与标准 VAE 相比，所提出的 TVAE 框架是否能更有效地保留数据点之间的相对相似性关系？
• RQ3 TVAE 是否能在提升潜在空间可解释性和结构化程度的同时，保持高质量的图像生成能力？
• RQ4 三元组损失的引入如何影响潜在空间中不同类别之间的聚类与分离效果？
• RQ5 在 MNIST 等基准数据集上，TVAE 在捕捉细粒度数据相似性方面相较于标准 VAE 的性能提升程度如何？

主要发现

• TVAE 在 MNIST 测试集上实现了 95.60% 的三元组准确率，表明其在潜在空间中对相对相似性的保留能力极强。
• 标准 VAE 仅达到 75.08% 的三元组准确率，表明在相似性保留方面存在显著性能差距。
• t-SNE 可视化显示，与标准 VAE 相比，TVAE 生成的各类数字类别的聚类更加紧凑且分离度更高。
• TVAE 的潜在均值向量更具结构性，分布更集中，减少了类间重叠和类内碎片化。
• TVAE 生成的重建图像质量与标准 VAE 相当，表明其生成能力未受影响。
• 引入三元组损失在不损害 VAE 重建输入图像能力的前提下，提升了潜在空间的可解释性。