[论文解读] RelationNet2: Deep Comparison Columns for Few-Shot Learning

Xueting Zhang, Yuting Qiang+3 more|arXiv (Cornell University)|Nov 17, 2018

Domain Adaptation and Few-Shot Learning参考文献 48被引用 18

一句话总结

RelationNet2 提出了一种深度比较网络（DCN），通过关系模块在分层特征层级上联合学习多种非线性距离度量，同时采用分布特征嵌入与高斯噪声正则化以防止过拟合，从而在 miniImageNet 和 tiered-ImageNet 基准上实现最先进性能，展现出更强的泛化能力与更简洁的架构设计。

ABSTRACT

Few-shot deep learning is a topical challenge area for scaling visual recognition to open ended growth of unseen new classes with limited labeled examples. A promising approach is based on metric learning, which trains a deep embedding to support image similarity matching. Our insight is that effective general purpose matching requires non-linear comparison of features at multiple abstraction levels. We thus propose a new deep comparison network comprised of embedding and relation modules that learn multiple non-linear distance metrics based on different levels of features simultaneously. Furthermore, to reduce over-fitting and enable the use of deeper embeddings, we represent images as distributions rather than vectors via learning parameterized Gaussian noise regularization. The resulting network achieves excellent performance on both miniImageNet and tieredImageNet.

研究动机与目标

• 为解决在有限标注样本下进行少样本视觉识别的挑战，尤其是在开放式学习场景中。
• 通过实现超越简单线性度量的非线性、多层级特征对比，提升少样本学习中的泛化能力。
• 在少样本数据上训练深层网络时，减少过拟合，尤其是针对更深的网络架构。
• 在不依赖任务特定微调的前提下，保持快速推理与训练。
• 在特征层次的多个抽象层级之间实现有效的梯度流动与表征学习。

提出的方法

• 该框架使用一个深度嵌入网络，通过参数化高斯噪声正则化输出特征分布，替代标准的向量嵌入。
• 引入多个在特征层次不同层级上运行的关系模块，每个模块在其对应的特征表示上学习一种非线性距离度量。
• 每个关系模块均接受深度监督，从而在层次结构中实现更好的梯度流动与训练稳定性。
• 通过可学习注意力机制对模块进行加权，动态组合来自不同关系模块的预测结果，降低对人工超参数调优的依赖。
• 通过辅助少样本任务进行端到端训练，学习与任务无关的元知识，以实现对新类别的快速适应。
• 该架构支持分类与相似性匹配，推理基于嵌入空间中的最近邻比较。

实验结果

研究问题

• RQ1 与单层级度量相比，多个在不同抽象层级上运行的非线性对比模块是否能提升少样本泛化能力？
• RQ2 通过随机正则化将特征表示为分布形式，是否能在不增加推理成本的前提下增强少样本学习中的泛化能力？
• RQ3 对关系模块进行深度监督是否能提升深度度量学习框架中的性能与训练稳定性？
• RQ4 特征层次中不同深度的关系模块如何贡献于预测的多样性与互补性？
• RQ5 该方法在 tiered-ImageNet 等具有挑战性的基准上，相对于现有最先进少样本学习模型，其性能提升程度如何？

主要发现

• RelationNet2 在 miniImageNet 与 tiered-ImageNet 基准上均达到最先进性能，优于现有方法，包括 RelationNet、ProtoNet 与 MAML。
• 消融实验表明，对关系模块进行深度监督可显著提升性能，其中 DCN-No Deep Sup. 出现明显的准确率下降。
• 通过学习注意力权重进行模块组合，性能优于固定的手动权重设置，并消除了对超参数调优的需求。
• 每个独立的关系模块均表现良好，但其组合结果最优，证实了多层级特征对比的价值。
• 关系模块之间的预测相关性较低（低至 0.34），表明其预测结果具有多样性且非冗余，相邻模块的相关性高于非相邻模块。
• 对得分-距离相关性的分析表明，关系模块得分与 ImageNet 中的语义距离一致，验证了其可解释性与判别能力。