[论文解读] SimEx: Express Prediction of Inter-dataset Similarity by a Fleet of Autoencoders

Inseok Hwang, Jinho Lee+2 more|arXiv (Cornell University)|Jan 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用 4

一句话总结

SimEx 提出了一种快速、无需训练的方法，通过使用一组为不同已知数据子集专门训练的预训练自编码器来评估未知数据的重建误差，从而预测跨数据集的相似性。该方法相比基于迁移学习的基线模型实现了超过10倍的速度提升，同时与基于性能的相似性度量保持了较强的关联性。

ABSTRACT

Knowing the similarity between sets of data has a number of positive implications in training an effective model, such as assisting an informed selection out of known datasets favorable to model transfer or data augmentation problems with an unknown dataset. Common practices to estimate the similarity between data include comparing in the original sample space, comparing in the embedding space from a model performing a certain task, or fine-tuning a pretrained model with different datasets and evaluating the performance changes therefrom. However, these practices would suffer from shallow comparisons, task-specific biases, or extensive time and computations required to perform comparisons. We present SimEx, a new method for early prediction of inter-dataset similarity using a set of pretrained autoencoders each of which is dedicated to reconstructing a specific part of known data. Specifically, our method takes unknown data samples as input to those pretrained autoencoders, and evaluate the difference between the reconstructed output samples against their original input samples. Our intuition is that, the more similarity exists between the unknown data samples and the part of known data that an autoencoder was trained with, the better chances there could be that this autoencoder makes use of its trained knowledge, reconstructing output samples closer to the originals. We demonstrate that our method achieves more than 10x speed-up in predicting inter-dataset similarity compared to common similarity-estimating practices. We also demonstrate that the inter-dataset similarity estimated by our method is well-correlated with common practices and outperforms the baselines approaches of comparing at sample- or embedding-spaces, without newly training anything at the comparison time.

研究动机与目标

• 为解决在不微调模型的前提下，高效估计未知数据集与已知参考数据集之间相似性的挑战。
• 降低在迁移学习和数据增强工作流中相似性估计的计算成本。
• 开发一种利用预训练自编码器基于重建质量推断相似性的方法，避免任务特定偏差。
• 评估输入空间中的重建误差是否可作为跨数据集相似性的可靠代理指标。
• 证明 SimEx 为现有相似性估计技术提供了一种可扩展、低延迟的替代方案，适用于真实机器学习流水线。

提出的方法

• 为已知数据集中每个不同的数据子集训练专用的自编码器，使用均方误差（MSE）或改进的结构相似性指数（iSSIM）作为重建损失。
• 使用预训练的自编码器对未知数据样本进行重建，测量输入与重建输出之间的差异。
• 基于重建误差（如输入与输出之间的MSE或iSSIM）计算未知数据与每个已知数据子集之间的相似性。
• 将重建误差作为相似性的代理指标：重建误差越低，表示与对应已知数据子集的相似性越高。
• 在推理阶段避免任何微调或额外训练，从而实现实时、快速的相似性预测。
• 在多个任务上评估该方法，包括迁移学习、数据增强以及类间混淆预测。

实验结果

研究问题

• RQ1 预训练自编码器的重建误差能否作为跨数据集相似性的可靠代理？
• RQ2 SimEx 在预测与迁移学习和数据增强相关的相似性方面，与样本空间和嵌入空间基线相比表现如何？
• RQ3 与基于迁移学习的相似性估计相比，SimEx 在运行时间成本上降低了多少？
• RQ4 与基线方法相比，SimEx 在预测数据集中类间混淆水平方面的表现如何？
• RQ5 在输入空间中使用重建误差是否能减轻由模型特定特征表示带来的偏差？

主要发现

• 与基于迁移学习的基线方法相比，SimEx 在跨数据集相似性预测中实现了超过10倍的速度提升，因为其在推理阶段无需任何训练。
• SimEx-MSE 和 SimEx-iSSIM 预测的相似性与9类 LeNet-5 分类器的混淆水平分别表现出斯皮尔曼等级相关系数 0.692 和 0.765，表明具有强相关性。
• SimEx-iSSIM 与9类 ResNet-18 分类器的混淆水平之间的斯皮尔曼等级相关系数达到 0.804，显著优于基线样本-iSSIM（相关系数为 0.338）。
• SimEx 的相似性预测结果与基于模型的混淆模式更加一致，表明其在真实机器学习任务中具有更强的预测能力。
• 该方法在避免微调或特征提取计算负担的同时，与基于性能的相似性度量保持了高度相关性。
• SimEx 在预测类间混淆方面优于样本空间和嵌入空间基线方法，表明其在早期数据集兼容性筛查中具有潜力。