[论文解读] Object category learning and retrieval with weak supervision

Steven Hickson, Anelia Angelova+2 more|arXiv (Cornell University)|Jan 26, 2018

Advanced Image and Video Retrieval Techniques参考文献 21被引用 7

一句话总结

本文提出了一种完全可微分的端到端深度聚类方法，仅通过对象存在掩码这一种弱监督形式，从无标签图像数据中学习语义物体类别和嵌入表示。通过将聚类中心视为卷积神经网络中的可学习记忆单元，该模型联合优化特征表示与聚类，无需任何类别标签即可在CIFAR-10和Cityscapes数据集上实现对汽车、人和自行车等有意义类别的发现。

ABSTRACT

We consider the problem of retrieving objects from image data and learning to classify them into meaningful semantic categories with minimal supervision. To that end, we propose a fully differentiable unsupervised deep clustering approach to learn semantic classes in an end-to-end fashion without individual class labeling using only unlabeled object proposals. The key contributions of our work are 1) a kmeans clustering objective where the clusters are learned as parameters of the network and are represented as memory units, and 2) simultaneously building a feature representation, or embedding, while learning to cluster it. This approach shows promising results on two popular computer vision datasets: on CIFAR10 for clustering objects, and on the more complex and challenging Cityscapes dataset for semantically discovering classes which visually correspond to cars, people, and bicycles. Currently, the only supervision provided is segmentation objectness masks, but this method can be extended to use an unsupervised objectness-based object generation mechanism which will make the approach completely unsupervised.

研究动机与目标

• 在无需人工类别注释的情况下学习有意义的语义物体类别。
• 以端到端可微分的方式联合优化深度特征嵌入与聚类。
• 仅使用对象存在掩码作为弱监督，实现无监督的语义一致物体类别发现。
• 证明聚类与表征学习可联合优化，从而提升特征可分性。
• 通过集成物体生成机制，将方法扩展至完全无监督学习。

提出的方法

• 集成可微分k-means聚类目标，其中聚类中心作为神经网络内的记忆单元进行学习。
• 使用具有二值分割掩码的前景物体提议作为弱监督，不依赖类别标签。
• 训练卷积神经网络以同时预测前景/背景，并通过反向传播学习嵌入表示与聚类分配。
• 将聚类中心作为网络参数存储，使其可在端到端训练过程中被更新。
• 应用对比损失以在学习嵌入表示的同时，增强不同聚类之间的特征可分性。
• 在Cityscapes数据集上使用Inception架构，并因数据量有限而仅微调卷积层。

实验结果

研究问题

• RQ1 仅使用对象存在掩码且无类别标签，能否从弱监督数据中涌现出语义物体类别？
• RQ2 端到端可微分聚类能否提升下游检索任务的特征表示质量？
• RQ3 联合训练的嵌入与聚类系统在发现汽车、人和自行车等语义上合理的类别方面表现如何？
• RQ4 与无聚类损失的基线嵌入相比，所提方法在聚类一致性和准确性方面是否表现更优？
• RQ5 该方法能否在包含类别不平衡与罕见物体的复杂真实世界数据集（如Cityscapes）上实现泛化？

主要发现

• 所提方法在Cityscapes验证集上对8个物体类别进行3个聚类的无监督聚类任务中，取得了69.98%的准确率。
• 在Cityscapes数据集中，该方法成功将汽车（绿色）、人（蓝色）和自行车（红色）识别为独立聚类，即使存在类别不平衡与稀有样本。
• 无聚类损失的基线嵌入表示坍缩为单一主导聚类，无法区分汽车与人等主要类别。
• 尽管无类别标签，模型仍学习到语义上合理的聚类——例如，自行车常与人或部分可见的汽车混淆，但仍形成一致的聚类组。
• 可微分聚类目标提升了特征可分性，使聚类性能优于基线特征上的标准k-means方法。
• 该方法可泛化至复杂场景，结合物体生成机制后，在完全无监督学习方面展现出巨大潜力。