[论文解读] The Single-Noun Prior for Image Clustering.

Niv Cohen, Yedid Hoshen|arXiv (Cornell University)|Apr 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用 4

一句话总结

本文提出了一种单名先验——一种自监督聚类方法，其核心思想是人类语义概念通常由一个名词来标记。通过将图像和句子映射到共享嵌入空间，并将聚类建模为约束设施选址问题，该方法在标准图像聚类基准上实现了最先进性能，显著优于以往的自监督方法。

ABSTRACT

Self-supervised clustering methods have achieved increasing accuracy in recent years but do not yet perform as well as supervised classification methods. This contrasts with the situation for feature learning, where self-supervised features have recently surpassed the performance of supervised features on several important tasks. We hypothesize that the performance gap is due to the difficulty of specifying, without supervision, which features correspond to class differences that are semantic to humans. To reduce the performance gap, we introduce the single-noun prior - which states that semantic clusters tend to correspond to concepts that humans label by a single-noun. By utilizing a pre-trained network that maps images and sentences into a common space, we impose this prior obtaining a constrained optimization task. We show that our formulation is a special case of the facility location problem, and introduce a simple-yet-effective approach for solving this optimization task at scale. We test our approach on several commonly reported image clustering datasets and obtain significant accuracy gains over the best existing approaches.

研究动机与目标

• 弥合自监督聚类与监督分类在图像聚类任务中的性能差距。
• 解决在无监督情况下识别哪些特征对应于人类语义类别差异的挑战。
• 将语义概念通常由单一名词标记的直觉形式化为可学习的归纳偏置，用于聚类。
• 开发一种可扩展的优化方法，通过预训练的视觉-语言模型强制实施单名先验。
• 在标准基准上显著提升现有自监督聚类方法的准确率。

提出的方法

• 该方法利用预训练的视觉-语言模型将图像和文本描述嵌入到共享嵌入空间。
• 它将图像聚类建模为基于单名先验的约束优化问题，其中聚类对应于由单一名词标记的概念。
• 该优化被形式化为设施选址问题的一个特例，可通过贪心或近似算法实现高效且可扩展的求解。
• 该方法利用视觉-语言模型评估候选聚类中心与单一名词概念之间的语义对齐程度。
• 通过优化图像与其分配的单一名词标签之间的高语义相似度，实现聚类的紧凑性与分离性。
• 该方法在端到端可微或通过迭代优化改进的实现方式下，可扩展至大规模数据集。

实验结果

研究问题

• RQ1 单名先验能否通过将聚类与人类语义概念对齐，有效引导自监督聚类？
• RQ2 与现有自监督方法相比，强制实施单名先验在多大程度上提升了聚类准确率？
• RQ3 预训练的视觉-语言模型在多大程度上可被有效利用，以可扩展的方式施加这种归纳偏置？
• RQ4 所提出的方法是否为已知优化问题的特例，且能否在大规模下高效求解？
• RQ5 该方法是否在标准图像聚类基准上实现了最先进性能？

主要发现

• 所提方法在多个标准图像聚类数据集上，显著优于现有最先进的自监督聚类方法，实现了显著的准确率提升。
• 单名先验能有效引导聚类向人类语义概念靠拢，减少由非语义特征变化带来的噪声。
• 将方法形式化为设施选址问题，实现了高效且可扩展的优化，支持大规模部署。
• 利用预训练视觉-语言模型将图像聚类与单一名词概念对齐，提升了聚类质量和语义一致性。
• 该方法在基准数据集上显著缩小了自监督聚类与监督分类之间的性能差距。
• 实证结果表明，该方法在聚类准确率方面优于以往最先进自监督聚类方法。