[论文解读] VSE-ens: Visual-Semantic Embeddings with Efficient Negative Sampling

Guibing Guo, Songlin Zhai+3 more|arXiv (Cornell University)|Jan 5, 2018

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出 VSE-ens，一种用于视觉-语义嵌入的快速自适应负样本采样方法，通过使用秩不变变换选择高排名负样本，加速训练过程，降低时间复杂度，同时不损失排序准确性。在 OpenImages 数据集上，其收敛速度比最先进方法快达 5.02 倍，在 IAPR-TCI2 和 NUS-WIDE 上也保持一致的加速效果，同时维持或提升性能。

ABSTRACT

Jointing visual-semantic embeddings (VSE) have become a research hotpot for the task of image annotation, which suffers from the issue of semantic gap, i.e., the gap between images' visual features (low-level) and labels' semantic features (high-level). This issue will be even more challenging if visual features cannot be retrieved from images, that is, when images are only denoted by numerical IDs as given in some real datasets. The typical way of existing VSE methods is to perform a uniform sampling method for negative examples that violate the ranking order against positive examples, which requires a time-consuming search in the whole label space. In this paper, we propose a fast adaptive negative sampler that can work well in the settings of no figure pixels available. Our sampling strategy is to choose the negative examples that are most likely to meet the requirements of violation according to the latent factors of images. In this way, our approach can linearly scale up to large datasets. The experiments demonstrate that our approach converges 5.02x faster than the state-of-the-art approaches on OpenImages, 2.5x on IAPR-TCI2 and 2.06x on NUS-WIDE datasets, as well as better ranking accuracy across datasets.

研究动机与目标

• 解决视觉-语义嵌入（VSE）训练中均匀负样本采样的低效问题，尤其是在图像缺乏像素级特征时。
• 降低在大规模数据集中负样本采样时间复杂度，避免因完整遍历标注空间而计算成本过高。
• 开发一种采样策略，动态选择高排名负样本，而无需昂贵的内积计算。
• 确保在理论层面与基于内积的传统采样方法等价，同时显著提升训练速度。
• 实现在仅以数值 ID 表示图像、无像素数据的现实场景中，实现高效且可扩展的 VSE 训练。

提出的方法

• 提出一种秩不变变换，用于识别最可能违反正样本对排序顺序的负样本。
• 基于图像和标注的潜在因子选择负标注，避免对标签空间的完整遍历。
• 用保持相对排序顺序的变换替代计算昂贵的内积操作。
• 将自适应采样器集成到 VSE 框架中，实现快速、可扩展且准确的联合嵌入学习。
• 理论证明表明，所提出的采样方法在优化目标上与基于内积的采样方法等价。
• 该方法根据当前嵌入状态动态调整负样本选择，支持高效的在线学习。

实验结果

研究问题

• RQ1 是否可以在不损害排序准确性的情况下，加速视觉-语义嵌入中的负样本采样？
• RQ2 当视觉特征不可用、仅提供图像 ID 时，如何高效选择负样本？
• RQ3 是否可以通过利用潜在因子和秩不变变换，降低负样本采样时间复杂度？
• RQ4 所提出的自适应采样方法是否在理论上等价于标准的基于内积的采样方法？
• RQ5 该方法在具有高维标注空间的大规模数据集上是否具备良好的可扩展性？

主要发现

• 在 OpenImages 数据集上，VSE-ens 的训练收敛速度比最先进方法快达 5.02 倍。
• 在 IAPR-TCI2 数据集上，训练时间减少 2.5 倍；在 NUS-WIDE 数据集上，训练时间减少 2.06 倍。
• 尽管速度显著提升，该方法在所有评估数据集上均维持或提升了排序准确性。
• 理论分析证实，该自适应采样策略在优化目标上与传统基于内积的采样方法等价。
• 该方法与数据集规模呈线性可扩展性，适用于大规模图像标注任务。
• 即使图像仅以数值 ID 表示、无像素级特征，该方法依然有效。