[论文解读] Neural Similarity Learning

Weiyang Liu, Zhen Liu+2 more|arXiv (Cornell University)|Oct 28, 2019

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

该论文提出神经相似性学习（NSL），一种可学习的参数化相似性度量方法，通过使用双线性矩阵对卷积神经网络（CNNs）中的内积进行泛化，实现在训练过程中对相似性进行静态和动态自适应。NSL 提升了模型的灵活性与泛化能力，在少样本学习中达到最先进性能——尤其在使用轻量级 CNN-9 主干网络时，动态 NSN 在 Mini-ImageNet 上实现了 77.44% 的准确率。

ABSTRACT

Inner product-based convolution has been the founding stone of convolutional neural networks (CNNs), enabling end-to-end learning of visual representation. By generalizing inner product with a bilinear matrix, we propose the neural similarity which serves as a learnable parametric similarity measure for CNNs. Neural similarity naturally generalizes the convolution and enhances flexibility. Further, we consider the neural similarity learning (NSL) in order to learn the neural similarity adaptively from training data. Specifically, we propose two different ways of learning the neural similarity: static NSL and dynamic NSL. Interestingly, dynamic neural similarity makes the CNN become a dynamic inference network. By regularizing the bilinear matrix, NSL can be viewed as learning the shape of kernel and the similarity measure simultaneously. We further justify the effectiveness of NSL with a theoretical viewpoint. Most importantly, NSL shows promising performance in visual recognition and few-shot learning, validating the superiority of NSL over the inner product-based convolution counterparts.

研究动机与目标

• 为解决 CNN 中固定内积相似性度量的局限性，该度量在不同任务中可能并非最优。
• 通过参数化双线性矩阵，统一卷积网络中核形状与相似性度量的学习。
• 通过从数据中学习自适应相似性，提升视觉识别与少样本学习中的泛化能力。
• 通过矩阵分解与梯度下降，探索 NSL 中隐式正则化的理论基础。
• 开发动态与元学习的神经相似性变体，实现输入相关的特征变换。

提出的方法

• 提出神经相似性作为内积的泛化形式，利用可学习的双线性矩阵，实现灵活的相似性学习。
• 引入两种 NSL 变体：静态 NSL（双线性矩阵固定并正则化）与动态 NSL（双线性矩阵由条件于输入的神经网络预测）。
• 通过堆叠带有神经相似性的层构建神经相似性网络（NSN），支持端到端反向传播训练。
• 对双线性矩阵施加正则化，以控制参数效率并防止过拟合，尤其在少样本设定下。
• 采用元学习（MAML 风格）初始化神经相似性矩阵，实现对新类别的快速适应。
• 在双线性矩阵中采用分块对角、共享块结构，以减少参数量同时保持表达能力。

实验结果

研究问题

• RQ1 可学习的参数化相似性度量是否能优于 CNN 中的标准内积？
• RQ2 与静态或固定相似性相比，动态神经相似性如何在少样本学习中实现更好的泛化？
• RQ3 通过矩阵分解与梯度下降，NSL 中观察到的隐式正则化具有何种理论依据？
• RQ4 通过元学习初始化神经相似性矩阵，是否能提升少样本性能，同时保留预训练模型的知识？
• RQ5 NSL 在视觉识别与少样本学习基准测试中是否优于现有方法？

主要发现

• 使用 CNN-9 主干网络的动态 NSN 在 Mini-ImageNet 5-shot 基准上达到 77.44% 的准确率，优于大多数先前方法，并以远少的参数量匹配最先进模型。
• 元学习初始化的静态 NSN 达到 66.21% 的准确率，超过 MAML（63.15%），表明通过元初始化相似性可实现更好的泛化。
• 静态 NSN 在使用相同 CNN-4 主干网络的 5-shot 设定下达到 65.74% 的准确率，优于 ProtoNet（68.20%）。
• 动态 NSN 显著优于所有基线模型，包括 RelationNet（65.32%）与 MatchingNet（55.31%），凸显输入相关相似性的优势。
• 理论分析表明，NSL 的矩阵分解诱导了隐式低秩正则化，有助于提升泛化性能。
• NSL 有效利用了预训练模型进行少样本学习，无需完整微调，尤其在动态与元学习变体中表现更优。