[论文解读] Semantic-Aware Knowledge Preservation for Zero-Shot Sketch-Based Image Retrieval

Qing Liu, Lingxi Xie+2 more|arXiv (Cornell University)|Apr 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 46被引用 9

一句话总结

该论文提出SAKE，一种用于零样本草图图像检索（ZS-SBIR）的语义感知知识保留方法，可在微调ImageNet预训练模型时缓解灾难性遗忘问题。通过采用基于蒸馏的教师-学生框架并引入语义监督，SAKE保留了源域中的判别性特征，在无需访问原始ImageNet数据的情况下显著提升了零样本泛化能力。该方法在TU-Berlin和Sketchy数据集上均达到最先进性能，mAP@all指标相比基线模型最高提升12.5%。

ABSTRACT

Sketch-based image retrieval (SBIR) is widely recognized as an important vision problem which implies a wide range of real-world applications. Recently, research interests arise in solving this problem under the more realistic and challenging setting of zero-shot learning. In this paper, we investigate this problem from the viewpoint of domain adaptation which we show is critical in improving feature embedding in the zero-shot scenario. Based on a framework which starts with a pre-trained model on ImageNet and fine-tunes it on the training set of SBIR benchmark, we advocate the importance of preserving previously acquired knowledge, e.g., the rich discriminative features learned from ImageNet, to improve the model's transfer ability. For this purpose, we design an approach named Semantic-Aware Knowledge prEservation (SAKE), which fine-tunes the pre-trained model in an economical way and leverages semantic information, e.g., inter-class relationship, to achieve the goal of knowledge preservation. Zero-shot experiments on two extended SBIR datasets, TU-Berlin and Sketchy, verify the superior performance of our approach. Extensive diagnostic experiments validate that knowledge preserved benefits SBIR in zero-shot settings, as a large fraction of the performance gain is from the more properly structured feature embedding for photo images. Code is available at: https://github.com/qliu24/SAKE.

研究动机与目标

• 为解决零样本草图图像检索（ZS-SBIR）中的灾难性遗忘问题，即微调导致在未见类别上性能下降。
• 通过在特定任务微调过程中保留从ImageNet中学到的丰富判别性视觉特征，提升模型泛化能力。
• 开发一种无需访问原始ImageNet数据集的知识保留方法。
• 优化目标域中照片图像的特征嵌入结构，以在零样本设置下实现更好的跨模态匹配。

提出的方法

• 采用教师-学生蒸馏框架，其中ImageNet预训练模型作为固定教师，指导学生模型在微调过程中的学习。
• 通过近似每个训练图像在ImageNet语义空间中的类别嵌入，引入语义监督，以优化蒸馏信号。
• 损失函数结合标准分类损失与一种新颖的语义感知知识保留损失（ℒ_SAKE），通过类别级别的语义关系将学生模型的特征与教师模型对齐。
• 采用多任务学习目标，平衡分类准确率与知识保留，通过超参数λ_SAKE控制两者之间的权衡。
• 优化特征表示，以在嵌入空间中保持紧密的、类特定的聚类结构，尤其针对目标域中的照片图像。
• 该方法高效：训练期间仅需适度计算开销，推理时无需额外资源。

实验结果

研究问题

• RQ1 从预训练的ImageNet模型中进行知识保留，是否能提升零样本草图图像检索的性能？
• RQ2 当原始训练数据不可用时，语义监督在知识蒸馏中起到何种增强作用？
• RQ3 在ZS-SBIR中，保留源域特征在多大程度上能减少灾难性遗忘？
• RQ4 在照片嵌入空间中改善特征结构是否能提升零样本设置下的跨模态匹配性能？
• RQ5 分类损失与知识保留损失之间的平衡如何影响模型泛化能力？

主要发现

• SAKE在ZS-SBIR任务的TU-Berlin和Sketchy数据集上均达到最先进性能，mAP@all指标相比基线模型最高提升12.5%。
• 性能提升主要源于目标域中照片图像的特征表示结构更优、聚类更紧密。
• 实验表明，知识保留显著减少了灾难性遗忘：在未使用SAKE的情况下，微调后ImageNet分类准确率从56.29%下降至45.54%，而使用SAKE后该性能得以保持。
• 提高λ_SAKE超参数可同时提升ImageNet和非ImageNet照片类别的性能，证实了有效知识保留。
• t-SNE可视化结果表明，与基线相比，SAKE生成的物体类别特征聚类更清晰、更具可分性。
• 即使在迭代量化（ITQ）后，该方法仍保持有效性，表明其在真实部署中对特征二值化的鲁棒性。