[论文解读] Performance Analysis of Semi-supervised Learning in the Small-data Regime using VAEs

Varun Mannam, Arman Kazemi|arXiv (Cornell University)|Feb 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 12被引用 9

一句话总结

本文提出一种基于变分自编码器（VAEs）的半监督学习框架，以提升小样本数据场景下的分类性能。通过在未标注的CIFAR-10数据上预训练VAE以学习压缩的、概率性的潜在表征，随后在有限的标注数据集上微调小型分类器，该方法实现了更高的准确率——在10,000维潜在空间时达到峰值，优于更小（6,400维）和更大（14,400维）的潜在空间。

ABSTRACT

Extracting large amounts of data from biological samples is not feasible due to radiation issues, and image processing in the small-data regime is one of the critical challenges when working with a limited amount of data. In this work, we applied an existing algorithm named Variational Auto Encoder (VAE) that pre-trains a latent space representation of the data to capture the features in a lower-dimension for the small-data regime input. The fine-tuned latent space provides constant weights that are useful for classification. Here we will present the performance analysis of the VAE algorithm with different latent space sizes in the semi-supervised learning using the CIFAR-10 dataset.

研究动机与目标

• 解决在标注数据稀缺时深度学习准确率低下的挑战，特别是在医学影像领域，由于辐射暴露限制，数据采集受限。
• 通过使用VAE学习概率性、低维的潜在表征，克服传统自编码器和RBM的局限，以捕捉有意义的特征。
• 研究潜在空间大小变化对半监督分类性能的影响，采用CIFAR-10数据集进行实验。
• 证明在VAE学习的潜在表征上微调小型分类器，相比直接在小规模标注数据集上从零开始训练，可显著提升准确率。
• 识别在小样本场景下，平衡表征能力与模型复杂度的最优潜在维度。

提出的方法

• 使用全连接网络架构在完整的CIFAR-10训练集（50,000张图像）上预训练VAE，以学习压缩的、概率性的潜在表征。
• 采用重参数化技巧，使通过随机潜在变量的反向传播成为可能，从而实现VAE的端到端训练。
• 预训练完成后固定编码器和解码器的权重，以保留学习到的潜在表征，防止微调过程中的灾难性遗忘。
• 将VAE嵌入的特征作为输入，对小规模标注CIFAR-10数据子集上的小型全连接神经网络进行微调。
• 使用Adam优化器，学习率为1e-4，权重衰减为1e-3，对预训练和微调阶段进行优化。
• 在预训练阶段使用重建损失（MSE）进行评估，在微调阶段使用交叉熵损失，基于验证集RMSE进行早停。

实验结果

研究问题

• RQ1 VAE中潜在空间的大小在小样本场景下如何影响学习表征的质量？
• RQ2 在有限标注数据的半监督学习设置中，实现最高分类准确率的最优潜在维度是什么？
• RQ3 在所有可用数据（标注与未标注）上预训练VAE，是否能提升下游分类性能，相比直接在小规模标注数据集上训练分类器？
• RQ4 表征能力（更大的潜在空间）与模型复杂度（过拟合风险）之间的权衡如何影响分类准确率？
• RQ5 固定的、预训练的VAE编码器能否作为低数据场景下微调轻量级分类器的有效特征提取器？

主要发现

• 所有测试的潜在空间大小（6,400、10,000和14,400）下，VAE预训练过程均在约50个周期后收敛，且各配置的重建损失相近。
• 尽管潜在空间大小不同，重建图像的密度估计值均接近真实输入数据，其中10,000维潜在空间与真实数据分布的匹配度最高。
• 在微调阶段，10,000维潜在空间的模型实现了最高的分类准确率，优于6,400维和14,400维的变体。
• 较小的潜在空间（6,400维）因特征容量不足导致欠拟合，而更大的空间（14,400维）则因模型复杂度增加和过拟合导致更高的测试误差。
• 潜在空间大小之间的性能差异在微调阶段最为显著，表明潜在表征的质量直接影响下游分类性能。
• 结果表明，表征能力与泛化能力之间的平衡至关重要，10,000维潜在空间在CIFAR-10小样本场景下提供了最佳权衡。