[论文解读] OrdinalCLIP: Learning Rank Prompts for Language-Guided Ordinal Regression

Wanhua Li, Xiaoke Huang+5 more|arXiv (Cornell University)|Jun 6, 2022

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

OrdinalCLIP 通过从 CLIP 的预训练文本编码器中学习特定排名的语言原型，引入了一种由语言驱动的序数回归范式，利用可微提示（包含可学习上下文标记）和连续排名嵌入来保留序数结构。该方法在年龄估计、历史图像年代判定和图像美学评估任务上均达到最先进性能，在少样本和分布偏移设置下表现更优，同时通过蒸馏语言原型实现零推理成本。

ABSTRACT

This paper presents a language-powered paradigm for ordinal regression. Existing methods usually treat each rank as a category and employ a set of weights to learn these concepts. These methods are easy to overfit and usually attain unsatisfactory performance as the learned concepts are mainly derived from the training set. Recent large pre-trained vision-language models like CLIP have shown impressive performance on various visual tasks. In this paper, we propose to learn the rank concepts from the rich semantic CLIP latent space. Specifically, we reformulate this task as an image-language matching problem with a contrastive objective, which regards labels as text and obtains a language prototype from a text encoder for each rank. While prompt engineering for CLIP is extremely time-consuming, we propose OrdinalCLIP, a differentiable prompting method for adapting CLIP for ordinal regression. OrdinalCLIP consists of learnable context tokens and learnable rank embeddings; The learnable rank embeddings are constructed by explicitly modeling numerical continuity, resulting in well-ordered, compact language prototypes in the CLIP space. Once learned, we can only save the language prototypes and discard the huge language model, resulting in zero additional computational overhead compared with the linear head counterpart. Experimental results show that our paradigm achieves competitive performance in general ordinal regression tasks, and gains improvements in few-shot and distribution shift settings for age estimation. The code is available at https://github.com/xk-huang/OrdinalCLIP.

研究动机与目标

• 解决现有序数回归方法仅从训练数据中学习排名概念所导致的过拟合和泛化能力差的问题。
• 利用 CLIP 等预训练视觉-语言模型中的丰富语义先验，以提升模型泛化能力。
• 在预训练语言模型的潜在空间中显式建模排名标签的连续序数特性。
• 开发一种可微提示机制，学习特定排名的提示，而无需依赖人工提示工程。
• 通过从 CLIP 蒸馏语言原型，丢弃完整语言模型，实现在推理阶段零计算开销。

提出的方法

• 将序数回归重新表述为使用对比损失的图像-文本匹配任务，其中图像特征与学习到的语言原型进行匹配。
• 使用 CLIP 的预训练文本编码器提取每个排名的固定语言原型，其来源于自然语言描述（如“此人 23 岁”）。
• 引入在所有排名间共享的可学习上下文标记，以形成动态提示，支持端到端训练。
• 通过基特征之间的插值学习排名嵌入，以显式建模数值连续性，并在潜在空间中保持顺序。
• 使用对比损失端到端训练图像编码器和提示参数，使图像特征与对应的语言原型对齐。
• 在推理阶段丢弃完整的 CLIP 模型，仅保留蒸馏后的语言原型，实现零额外计算成本。

实验结果

研究问题

• RQ1 预训练视觉-语言模型中的语言先验是否能提升序数回归任务的泛化能力？
• RQ2 如何在预训练语言模型的潜在空间中显式建模排名标签的连续序数结构？
• RQ3 可微提示能否减少对人工提示工程的依赖，同时提升序数回归的性能？
• RQ4 与纯数据驱动的方法相比，从语言空间学习排名原型是否能缓解过拟合？
• RQ5 该方法在少样本和分布偏移设置下（尤其是年龄估计任务）是否具备良好的泛化能力？

主要发现

• OrdinalCLIP 在年龄估计基准上实现了新的最先进性能，平均绝对误差（MAE）为 0.280，准确率为 72.58%，优于以往最先进方法。
• 在历史图像年代判定数据集上，OrdinalCLIP 达到 56.44% 的准确率和 0.67 的 MAE，显著优于 CoOp（51.90%）和零样本 CLIP（26.08%）。
• 与之前最佳方法相比，该方法在历史图像年代判定数据集上的准确率提升 4.45%，MAE 降低 0.11。
• OrdinalCLIP 在年龄估计的所有名义类别中均表现出一致改进，且标准差低于以往方法。
• 在年龄估计的少样本和分布偏移设置下，OrdinalCLIP 展现出强于基线方法和 CoOp 的鲁棒性与泛化能力。
• 消融实验证实，采用连续插值的可学习排名嵌入显著优于非连续替代方案。