[论文解读] TAFE-Net: Task-Aware Feature Embeddings for Low Shot Learning

Xin Wang, Fisher Yu+3 more|arXiv (Cornell University)|Apr 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 40被引用 12

一句话总结

TAFE-Net 提出了一种元学习框架，通过根据任务描述动态调整图像特征，生成任务感知的特征嵌入（TAFEs），并利用元学习器为特征层生成特定于任务的权重。该方法在零样本和少样本基准测试中实现了最先进性能，在无需数据生成的情况下，使未见的属性-对象组合任务准确率提升了4–15个百分点。

ABSTRACT

Learning good feature embeddings for images often requires substantial training data. As a consequence, in settings where training data is limited (e.g., few-shot and zero-shot learning), we are typically forced to use a generic feature embedding across various tasks. Ideally, we want to construct feature embeddings that are tuned for the given task. In this work, we propose Task-Aware Feature Embedding Networks (TAFE-Nets) to learn how to adapt the image representation to a new task in a meta learning fashion. Our network is composed of a meta learner and a prediction network. Based on a task input, the meta learner generates parameters for the feature layers in the prediction network so that the feature embedding can be accurately adjusted for that task. We show that TAFE-Net is highly effective in generalizing to new tasks or concepts and evaluate the TAFE-Net on a range of benchmarks in zero-shot and few-shot learning. Our model matches or exceeds the state-of-the-art on all tasks. In particular, our approach improves the prediction accuracy of unseen attribute-object pairs by 4 to 15 points on the challenging visual attribute-object composition task.

研究动机与目标

• 为解决通用特征嵌入在低样本学习中的局限性，即共享表征在新任务或罕见任务中表现不佳的问题。
• 实现在无需任务特定微调或额外数据的情况下，对图像特征进行动态、特定于任务的自适应。
• 通过度量学习联合聚类图像和任务，提升在多样且稀疏的训练任务中的泛化能力。
• 通过分解特定于任务的权重和共享权重，降低大规模网络的参数生成复杂度。
• 在不依赖数据幻觉的前提下，实现在零样本和少样本学习中的最先进性能。

提出的方法

• 元学习器基于任务嵌入（如 GloVe 生成的）为预测网络中的特征层生成特定于任务的参数。
• 网络采用权重分解方案，将参数划分为低维特定于任务的权重和高维共享权重，以降低训练复杂度。
• 基于度量学习的嵌入损失将图像和任务表征耦合，促进相似图像和任务的联合聚类。
• 模型在所有任务上使用共享分类器，以 TAFEs 作为输入，通过与任务无关的线性边界预测结果。
• 使用带动量的随机梯度下降（SGD）进行端到端训练，每轮迭代采样100个类别，学习率衰减。
• 该方法适用于零样本和少样本学习，评估基于 ImageNet 的少样本基准和 MITStates 属性-对象组合数据集。

实验结果

研究问题

• RQ1 元学习框架能否生成比通用嵌入在低样本设置下泛化能力更强的任务感知特征嵌入？
• RQ2 当从低维任务嵌入生成权重时，如何使特征层的参数生成更加高效和可扩展？
• RQ3 对图像和任务进行联合度量学习能否提升在未见任务上的泛化能力？
• RQ4 所提出的权重分解方案是否能在保持性能的同时降低训练复杂度？
• RQ5 TAFE-Net 是否能在不使用数据增强或幻觉的情况下，超越零样本和少样本基准的最先进模型？

主要发现

• TAFE-Net 在五个标准零样本学习基准中的三个实现了最先进性能，且无需数据生成。
• 在 MITStates 数据集上，TAFE-Net 在未见的属性-对象组合任务中准确率相比先前方法提升了4至15个百分点。
• 在基于 ImageNet 的少样本学习基准上，TAFE-Net 的性能与最先进元学习模型（如原型网络和匹配网络）相当或更优。
• 在所有类别上，top-5 准确率达到 61.9%，在新类别上达到 53.9%（n=2 少样本示例），优于基线 LogReg 模型，且与 PN 和 MN 模型具有竞争力。
• 在 TAFE-Net 中添加幻觉生成器是可行的，且可能进一步提升性能，但因时间限制未予探索。
• 所提出的嵌入损失和权重分解显著提升了低数据场景下的泛化能力和训练稳定性。