[论文解读] Unsupervised Joint Mining of Deep Features and Image Labels for Large-scale Radiology Image Categorization and Scene Recognition

Xiaosong Wang, Le Lü+6 more|arXiv (Cornell University)|Jan 23, 2017

Advanced Neural Network Applications参考文献 53被引用 7

一句话总结

该论文提出了一种循环深度伪任务优化（LDPO）框架，用于在大规模放射科和场景识别任务中无监督联合挖掘深度特征与图像标签。通过迭代优化聚类特征生成的伪标签并微调CNN，LDPO在MIT-67数据集上实现了75.3%的无监督场景识别准确率，接近监督方法的81.0%，并在无需人工标注的情况下显著提升了医学图像分类性能。

ABSTRACT

The recent rapid and tremendous success of deep convolutional neural networks (CNN) on many challenging computer vision tasks largely derives from the accessibility of the well-annotated ImageNet and PASCAL VOC datasets. Nevertheless, unsupervised image categorization (i.e., without the ground-truth labeling) is much less investigated, yet critically important and difficult when annotations are extremely hard to obtain in the conventional way of "Google Search" and crowd sourcing. We address this problem by presenting a looped deep pseudo-task optimization (LDPO) framework for joint mining of deep CNN features and image labels. Our method is conceptually simple and rests upon the hypothesized "convergence" of better labels leading to better trained CNN models which in turn feed more discriminative image representations to facilitate more meaningful clusters/labels. Our proposed method is validated in tackling two important applications: 1) Large-scale medical image annotation has always been a prohibitively expensive and easily-biased task even for well-trained radiologists. Significantly better image categorization results are achieved via our proposed approach compared to the previous state-of-the-art method. 2) Unsupervised scene recognition on representative and publicly available datasets with our proposed technique is examined. The LDPO achieves excellent quantitative scene classification results. On the MIT indoor scene dataset, it attains a clustering accuracy of 75.3%, compared to the state-of-the-art supervised classification accuracy of 81.0% (when both are based on the VGG-VD model).

研究动机与目标

• 解决大规模医学图像标注的挑战，由于缺乏类似ImageNet的大规模、高质量标注数据集，即使对放射科医生而言，标注也成本过高且存在偏差。
• 克服传统图像标注方法（如Google搜索或众包）的局限性，因医学图像搜索引擎不可用，且非专业人士难以完成临床标注。
• 开发一种自监督框架，通过迭代优化实现深度CNN特征与图像标签的联合学习，无需真实标签。
• 在无监督医学图像分类与场景识别任务中验证LDPO的有效性，实现接近监督基线的性能。
• 利用循环优化过程实现放射科图像中语义类别的可扩展、自动化发现，逐步收敛至有意义的聚类与判别性特征。

提出的方法

• 以预训练CNN（如AlexNet或VGG-VD）启动LDPO框架，从图像块或整幅图像中提取深度特征。
• 对CNN嵌入的特征执行聚类（如k-means），为每张图像生成伪标签，将其视为临时真实标签。
• 使用伪标注数据微调CNN，以提升特征判别能力与模型泛化性能，构建更具代表性的图像编码器。
• 迭代执行该过程：使用更新后的CNN重新编码图像，重新聚类，重新训练，形成在表示学习与标签优化之间交替的循环优化流程。
• 引入图像块挖掘（PM）以增强局部视觉模式建模，尤其在场景识别任务中表现优异，通过提取并聚类中层视觉块实现。
• 使用最终学习到的图像表征进行无监督聚类评估（纯度、NMI）与有监督分类（如Liblinear），验证自学习特征的质量。

实验结果

研究问题

• RQ1 在无真实标签的情况下，循环优化框架能否同时提升深度特征学习与图像标签发现？
• RQ2 基于预训练CNN的深度特征无监督聚类在场景识别任务中，其性能能在多大程度上接近监督方法？
• RQ3 将局部视觉模式挖掘整合到自监督表征中，如何增强其在场景识别中的判别能力？
• RQ4 LDPO框架是否对初始化具有鲁棒性？其性能收敛速度如何？
• RQ5 LDPO框架能否在无需专家标注的情况下，实现大规模放射科图像数据库的有效、可扩展自动标注？

主要发现

• 在MIT-67室内场景数据集上，使用VGG-VD与图像块挖掘的LDPO（LDPO-V-PM）实现了75.3%的无监督聚类准确率，显著优于以往无监督方法（如k-means为38.1%，DMS为64.0%）。
• LDPO-V-PM（75.3%）的性能与使用相同VGG-VD模型的最先进监督方法（81.0%）极为接近，证明了自监督表征学习的有效性。
• 在LDPO-V-PM特征上使用Liblinear进行有监督分类评估，方法达到了72.5%的准确率，表明自学习特征具有高度判别性，适用于下游任务。
• LDPO框架对初始化具有鲁棒性：随机初始化与基于k-means的标签初始化均达到相似的最终性能，表明其收敛性不受影响。
• 在医学图像分类任务中，LDPO使用AlexNet-FC7-Topic实现了0.8109的Top-1分类准确率，在无监督放射科图像自动标注任务中优于以往最先进方法。
• 使用更深网络（如VGG-VD）在较大数据集（如MIT-67）上显著提升了性能，但在较小数据集上未见明显提升，表明网络深度在高复杂度场景中更具优势。