[论文解读] Transductive Few-shot Learning with Meta-Learned Confidence.

Seong Min Kye, Haebeom Lee+2 more|arXiv (Cornell University)|Feb 27, 2020

Domain Adaptation and Few-Shot Learning被引用 23

一句话总结

本文提出了一种元学习的置信度方法，通过基于模型学习的可靠置信度分数自适应加权未标记查询样本，以改进归纳式 few-shot 学习。通过在扰动下元学习输入自适应的距离度量，并在嵌入维度间强制预测一致性，该方法在四个基准数据集上实现了最先进性能，并在半监督 few-shot 学习中取得了显著提升。

ABSTRACT

Transductive inference is an effective means of tackling the data deficiency problem in few-shot learning settings. A popular transductive inference technique for few-shot metric-based approaches, is to update the prototype of each class with the mean of the most confident query examples, or confidence-weighted average of all the query samples. However, a caveat here is that the model confidence may be unreliable, which may lead to incorrect predictions. To tackle this issue, we propose to meta-learn the confidence for each query sample, to assign optimal weights to unlabeled queries such that they improve the model's transductive inference performance on unseen tasks. We achieve this by meta-learning an input-adaptive distance metric over a task distribution under various model and data perturbations, which will enforce consistency on the model predictions under diverse uncertainties for unseen tasks. Moreover, we additionally suggest a regularization which explicitly enforces the consistency on the predictions across the different dimensions of a high-dimensional embedding vector. We validate our few-shot learning model with meta-learned confidence on four benchmark datasets, on which it largely outperforms strong recent baselines and obtains new state-of-the-art results. Further application on semi-supervised few-shot learning tasks also yields significant performance improvements over the baselines. The source code of our algorithm is available at this https URL.

研究动机与目标

• 为解决归纳式 few-shot 学习中不可靠的模型置信度问题，因为更新类别原型时置信度不可靠会降低性能。
• 通过元学习为未标记查询样本学习最优权重，以改进归纳推理。
• 通过元学习在扰动数据和模型变体间保持一致的距离度量，确保在分布偏移和不确定性下的鲁棒性。
• 通过显式强制高维嵌入向量维度间的预测一致性，提升预测可靠性。
• 在 few-shot 学习基准上实现最先进性能，并提升半监督 few-shot 学习性能。

提出的方法

• 在任务分布上元学习输入自适应的距离度量，通过各种模型和数据扰动提升置信度可靠性。
• 在归纳推理期间使用元学习的置信度为未标记查询样本分配最优权重，以改进原型更新。
• 应用正则化方法，强制嵌入空间不同维度间的预测一致性，以降低方差并提高鲁棒性。
• 使用任务分布端到端训练置信度模型，使其能泛化到未见过的 few-shot 任务。
• 将置信度机制集成到基于度量的 few-shot 学习框架中，实现动态和自适应的原型优化。
• 在元训练期间利用扰动模拟不确定性，确保模型能很好地泛化到具有噪声或模糊查询的未见任务。

实验结果

研究问题

• RQ1 元学习的置信度能否通过更优加权未标记查询样本，提升 few-shot 学习中归纳推理的可靠性？
• RQ2 在扰动下元学习距离度量在未见 few-shot 任务中如何增强鲁棒性和泛化能力？
• RQ3 在嵌入维度间强制一致性在多大程度上提升了预测稳定性和准确性？
• RQ4 所提方法是否在标准 few-shot 学习基准上实现了最先进性能？
• RQ5 元学习的置信度机制能否在半监督 few-shot 学习设置中有效迁移？

主要发现

• 所提方法在四个基准 few-shot 学习数据集上取得了新的最先进结果，优于强基准近期方法。
• 模型在半监督 few-shot 学习中表现出显著性能提升，证明了元学习置信度在低数据场景下的有效性。
• 强制嵌入维度间一致性的正则化方法提升了预测稳定性，并有助于更好的泛化。
• 在扰动下元学习置信度可带来更可靠和鲁棒的原型更新，降低过度自信或错误预测的影响。
• 消融实验确认，元学习置信度和一致性正则化均对实现最优性能至关重要。