[论文解读] Towards Backward-Compatible Representation Learning

Yantao Shen, Yuanjun Xiong+2 more|arXiv (Cornell University)|Mar 26, 2020

Face recognition and analysis参考文献 44被引用 5

一句话总结

本文提出后向兼容训练（BCT），一种学习视觉嵌入的方法，即使模型在架构、损失函数或维度上存在差异，也能保持与先前计算的特征兼容。通过在训练过程中将旧模型的分类器作为正则化项，BCT 实现了新旧嵌入之间的直接比较，消除了对回填的需求，从而在不损失准确率的前提下实现无需回填的模型更新。

ABSTRACT

We propose a way to learn visual features that are compatible with previously computed ones even when they have different dimensions and are learned via different neural network architectures and loss functions. Compatible means that, if such features are used to compare images, then "new" features can be compared directly to "old" features, so they can be used interchangeably. This enables visual search systems to bypass computing new features for all previously seen images when updating the embedding models, a process known as backfilling. Backward compatibility is critical to quickly deploy new embedding models that leverage ever-growing large-scale training datasets and improvements in deep learning architectures and training methods. We propose a framework to train embedding models, called backward-compatible training (BCT), as a first step towards backward compatible representation learning. In experiments on learning embeddings for face recognition, models trained with BCT successfully achieve backward compatibility without sacrificing accuracy, thus enabling backfill-free model updates of visual embeddings.

研究动机与目标

• 解决因更新嵌入模型而需回填导致的视觉检索系统可扩展性瓶颈。
• 将后向兼容表示学习形式化为开放集识别中持续部署改进模型的关键需求。
• 开发一种训练框架，确保新嵌入可与旧嵌入直接比较，无论其架构或损失函数有何差异。
• 实现在大规模视觉搜索系统中的无回填更新，降低计算成本和部署延迟。
• 通过链式 BCT 训练实现多个模型版本之间的传递兼容性。

提出的方法

• 引入一种影响损失，利用旧嵌入模型的分类器权重作为新模型训练过程中的正则化项。
• 训练新模型使其预测结果与旧模型分类器的输出对齐，确保嵌入空间中的兼容性。
• 使用旧模型的分类器作为代理，指导新模型的特征学习，从而在无需特征维度匹配的情况下保持兼容性。
• 采用链式方式应用 BCT：先使用模型 1 训练模型 2，再使用模型 2 训练模型 3，实现传递兼容性。
• 在必要时使用线性投影层匹配特征维度，尽管即使不进行维度匹配也能实现直接兼容。
• 通过 IJB-C 和 Market-1501 等基准数据集上的 1:1 验证和平均精度均值（mAP）评估兼容性。

实验结果

研究问题

• RQ1 即使架构和损失函数不同，能否训练出可与先前计算的嵌入直接比较的新视觉嵌入模型？
• RQ2 在不降低新模型准确率的前提下，后向兼容性能达到何种程度？
• RQ3 能否通过顺序训练将后向兼容性扩展到多个模型版本？
• RQ4 哪些因素（如损失函数类型或激活函数）会破坏后向兼容性，又该如何缓解？
• RQ5 BCT 对训练数据规模、模型架构和嵌入维度的变化是否具有鲁棒性？

主要发现

• BCT 实现了后向兼容表示学习且准确率损失极小，在 IJB-C 上比较旧模型与新模型时达到 45.0% 的平均 mAP，而无 BCT 时仅为 26.7%。
• 使用 BCT 训练的新模型在 Market-1501 上达到 60.1% 的 mAP，与非后向兼容模型性能相当，证明无准确率损失。
• 实现了传递兼容性：通过 BCT 与前序版本训练的模型，即使未直接在旧模型上训练，仍能与更早的模型保持兼容。
• BCT 在模型架构、损失函数和数据规模等多种变化因素下均成功维持兼容性，如消融研究所示。
• 当使用余弦边界损失配合 Softmax 损失或添加 ReLU 激活函数时出现失败案例，表明分布偏移可能破坏兼容性。
• 该方法消除了视觉搜索系统中对回填的需求，实现了大规模检索应用中无需回填的模型更新。