[论文解读] Weakly Supervised One-Shot Detection with Attention Siamese Networks

Gil Keren, Maximilian Schmitt+2 more|arXiv (Cornell University)|Jan 10, 2018

Anomaly Detection Techniques and Applications参考文献 35被引用 10

一句话总结

该论文提出了一种基于注意力增强孪生网络的弱监督少样本检测模型，能够仅通过一个样本图像和一张目标图像，识别并定位新类别，在视觉和音频数据集上均优于基线方法，其优势源于类别无关特征学习与基于注意力的特征精炼机制。

ABSTRACT

Neural network models that are not conditioned on class identities were shown to facilitate knowledge transfer between classes and to be well-suited for one-shot learning tasks. Following this motivation, we further explore and establish such models and present a novel neural network architecture for the task of weakly supervised one-shot detection. Our model is only conditioned on a single exemplar of an unseen class and a larger target example that may or may not contain an instance of the same class as the exemplar. By pairing a Siamese similarity network with an attention mechanism, we design a model that manages to simultaneously identify and localise instances of classes unseen at training time. In experiments with datasets from the computer vision and audio domains, the proposed method considerably outperforms the baseline methods for the weakly supervised one-shot detection task.

研究动机与目标

• 解决在图像或音频中以极少监督检测新类别对象的挑战。
• 实现在训练过程中无需类别特定标注的少样本检测。
• 通过利用类别无关特征学习，提升零样本泛化能力。
• 设计一种模型，仅通过一个样本即可同时定位和识别未见类别。

提出的方法

• 该模型采用孪生网络计算单个样本图像与目标图像区域之间的相似度。
• 引入注意力机制，根据样本图像动态突出目标图像中的相关特征。
• 孪生分支学习类别无关表征，以促进跨类别的知识迁移。
• 网络通过弱监督进行端到端训练，仅提供样本类别在目标图像中是否存在这一信息。
• 将孪生网络的特征图与注意力权重融合，以精炼定位预测结果。
• 该架构可在训练过程中无需边界框标注，实现对未见类别的联合检测与定位。

实验结果

研究问题

• RQ1 类别无关神经网络架构是否能在极少监督的少样本设置下，有效检测并定位新类别？
• RQ2 在弱监督少样本检测中，集成注意力机制如何提升定位精度？
• RQ3 通过使用共享权重的孪生网络与注意力机制，类别间知识迁移的增强程度如何？
• RQ4 所提出方法是否具有跨领域的泛化能力，例如在计算机视觉与音频领域？

主要发现

• 所提方法在弱监督少样本检测基准上显著优于基线方法。
• 将注意力机制与孪生网络结合，通过聚焦与样本匹配的相关图像区域，提升了定位精度。
• 由于采用了类别无关特征学习策略，该模型对未见类别的泛化能力出色。
• 该方法在图像与音频数据集上均表现出色，证明了其跨领域适用性。