[论文解读] Optimized Generic Feature Learning for Few-shot Classification across Domains
本文提出使用跨领域少样本分类作为验证目标进行超参数优化（HPO），以学习泛化能力更强的通用特征。通过在跨领域少样本任务上优化超参数，该方法在Meta-Dataset上实现了最先进性能，通过提升在不同领域和任务间的泛化能力，超越了以往的元学习和少样本方法。
To learn models or features that generalize across tasks and domains is one of the grand goals of machine learning. In this paper, we propose to use cross-domain, cross-task data as validation objective for hyper-parameter optimization (HPO) to improve on this goal. Given a rich enough search space, optimization of hyper-parameters learn features that maximize validation performance and, due to the objective, generalize across tasks and domains. We demonstrate the effectiveness of this strategy on few-shot image classification within and across domains. The learned features outperform all previous few-shot and meta-learning approaches.
研究动机与目标
- 提升少样本学习中未见任务和领域间学习特征的泛化能力。
- 探究超参数优化（HPO）是否能超越单一基准性能，提升特征泛化能力。
- 评估使用跨领域少样本任务作为HPO验证目标的有效性。
- 识别能提升特征鲁棒性和可迁移性的最优超参数配置。
- 评估HPO与模型集成及数据增强结合时在泛化能力上的兼容性。
提出的方法
- 使用贝叶斯优化与超宽带（BOHB）在深度神经网络特征提取器的结构化超参数空间中进行搜索。
- 以多样化任务验证集上的少样本分类准确率为HPO目标，每项任务包含支持集和查询集。
- 使用采样的超参数在源数据集（如ImageNet）上训练特征提取器，然后在验证阶段的少样本任务上进行评估。
- 将数据增强的配置（操作数量N_ops可变）作为搜索空间的一部分进行优化。
- 使用N-Centroid分类器进行少样本评估，通过在查询集上计算准确率来指导HPO。
- 同时执行域内和跨域HPO，其中验证任务来自与训练不同的领域。
实验结果
研究问题
- RQ1是否可以使用少样本分类作为验证目标的HPO，实现更优的跨领域泛化？
- RQ2与域内HPO相比，跨域HPO在提升未见领域上的少样本性能方面表现如何？
- RQ3哪些超参数配置（学习率、批量大小、优化器、数据增强）能实现最佳泛化？
- RQ4当与模型集成结合时，HPO是否能提升性能？
- RQ5HPO能否发现超越常见最佳实践的非平凡超参数模式，从而进一步提升泛化能力？
主要发现
- 使用跨领域少样本验证的HPO显著提升了少样本分类准确率，在Meta-Dataset上实现了最先进性能。
- 表现最佳的模型（BOHB-NC-S2）在mini-ImageNet和ImageNet-GBM上的准确率分别达到66.41% ± 0.62和84.52% ± 0.41，优于以往方法。
- 对HPO中前20名模型进行集成后，性能进一步提升至55.39% ± 1.06（D1）、68.72% ± 0.87（D2）和54.70% ± 1.02（D3），表明其与集成方法具有强兼容性。
- 较低的学习率和较小的批量大小（如8）始终表现更优，验证了已知原则，但在此设置下通过实证方法予以证实。
- 在ImageNet-GBM上SGD优于ADAM，而在mini-ImageNet上两种优化器表现均良好，表明最优选择具有领域依赖性。
- 按顺序应用一到两个数据增强操作（N_ops = 1或2）为最优，表明适度增强有助于提升泛化能力。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。