[论文解读] Retrieving Similar E-Commerce Images Using Deep Learning

Rishab Sharma, Anirudha Vishvakarma|arXiv (Cornell University)|Jan 11, 2019

Advanced Image and Video Retrieval Techniques参考文献 32被引用 9

一句话总结

本文提出 RankNet，一种孪生深度卷积神经网络，通过学习 4096 维图像嵌入来捕捉电商图像中的细粒度视觉相似性。通过使用新颖的分数距离矩阵和角度损失函数，其性能优于传统方法和最先进模型，在 Street2Shop 数据集上达到 94.98% 的准确率和 88.576% 的 top-20 召回率。

ABSTRACT

In this paper, we propose a deep convolutional neural network for learning the embeddings of images in order to capture the notion of visual similarity. We present a deep siamese architecture that when trained on positive and negative pairs of images learn an embedding that accurately approximates the ranking of images in order of visual similarity notion. We also implement a novel loss calculation method using an angular loss metrics based on the problems requirement. The final embedding of the image is combined representation of the lower and top-level embeddings. We used fractional distance matrix to calculate the distance between the learned embeddings in n-dimensional space. In the end, we compare our architecture with other existing deep architecture and go on to demonstrate the superiority of our solution in terms of image retrieval by testing the architecture on four datasets. We also show how our suggested network is better than the other traditional deep CNNs used for capturing fine-grained image similarities by learning an optimum embedding.

研究动机与目标

• 为解决在时尚服饰等细粒度类别中检索视觉相似电商商品的挑战。
• 克服手工设计特征（如 SIFT、HOG）无法捕捉细微视觉差异（如图案与纹理）的局限性。
• 通过监督对比学习，学习鲁棒且分层的图像嵌入，以提升图像检索性能。
• 构建统一框架，同时支持视觉搜索（基于用户上传图像）与视觉推荐（在商品目录内）。

提出的方法

• 采用多尺度孪生 CNN 架构，以 VGG19 作为主干网络，并在 ImageNet 上预训练，以学习 4096 维图像嵌入。
• 设计新颖的分数距离矩阵，用于在 n 维空间中计算嵌入间距离，替代传统欧氏距离，以实现更优的邻近性估计。
• 引入角度损失函数，通过最大化负样本对之间的边际距离并最小化正样本对之间的距离，来优化网络。
• 实施受课程学习启发的样本对采样策略，在训练过程中选择高质量的正负图像对。
• 应用数据增强与 Dropout 以防止过拟合，并仅微调预训练 VGG19 的前两层卷积层。
• 使用 t-SNE 可视化学习到的嵌入空间，证实语义相似的图像被聚类在一起。

实验结果

研究问题

• RQ1 孪生 CNN 搭配分数距离矩阵是否能在度量电商图像视觉相似性方面优于传统欧氏距离？
• RQ2 角度损失函数是否相比标准对比损失，能更有效地提升细粒度视觉相似性的学习？
• RQ3 所提出的 RankNet 模型在图像检索准确率方面，相较于手工特征方法（如 SIFT、HOG）及其他深度学习基线模型表现如何？
• RQ4 多尺度特征学习在多大程度上增强了模型区分产品图像中细微视觉差异的能力？
• RQ5 该模型在多样化电商数据集上是否具备良好泛化能力，同时在 top-20 检索中保持高召回率？

主要发现

• RankNet 在 Street2Shop 数据集上达到 94.98% 的验证准确率，显著优于 AlexNet 基线（90.8%）和 VisNet（93.39%）。
• 该模型在 Street2Shop 测试集上实现 88.576% 的 top-20 召回率，远超 AlexNet 基线（14.400%），并接近 VisNet（87.914%）。
• 嵌入空间的 t-SNE 可视化结果表明，同一类别的图像被聚类在一起，证实了有效的语义聚类。
• 使用分数距离矩阵提升了模型按邻近性排序图像的性能，展现出更强的细粒度视觉相似性捕捉能力。
• 角度损失与基于课程学习的样本对采样策略相结合，显著加快了收敛速度并提升了泛化能力，尤其在小样本或类别不平衡数据集上表现更优。
• 仅微调预训练 VGG19 的前两层卷积层，同时结合数据增强与 Dropout，有效防止了过拟合，并提升了模型鲁棒性。