[论文解读] Rank-N-Contrast: Learning Continuous Representations for Regression

Kaiwen Zha, Peng Cao+3 more|arXiv (Cornell University)|Oct 3, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

该论文提出 Rank-n-Contrast (RnC)，一种新颖的框架，通过基于目标值排名对比样本来学习连续的、回归感知的表征。通过优化一种排名感知的对比损失，RnC 确保学习到的特征保留回归目标的连续顺序，从而在视觉、人机交互和医疗保健领域的五个真实世界回归数据集上实现了最先进性能，且在鲁棒性、数据效率和泛化能力方面均有提升。

ABSTRACT

Deep regression models typically learn in an end-to-end fashion without explicitly emphasizing a regression-aware representation. Consequently, the learned representations exhibit fragmentation and fail to capture the continuous nature of sample orders, inducing suboptimal results across a wide range of regression tasks. To fill the gap, we propose Rank-N-Contrast (RNC), a framework that learns continuous representations for regression by contrasting samples against each other based on their rankings in the target space. We demonstrate, theoretically and empirically, that RNC guarantees the desired order of learned representations in accordance with the target orders, enjoying not only better performance but also significantly improved robustness, efficiency, and generalization. Extensive experiments using five real-world regression datasets that span computer vision, human-computer interaction, and healthcare verify that RNC achieves state-of-the-art performance, highlighting its intriguing properties including better data efficiency, robustness to spurious targets and data corruptions, and generalization to distribution shifts. Code is available at: https://github.com/kaiwenzha/Rank-N-Contrast.

研究动机与目标

• 解决现有回归与表征学习方法在捕捉回归目标连续性方面的局限性。
• 指出标准损失函数（如 L1、MSE）和对比学习方法（如 SupCon）因特征学习的碎片化而无法生成有序的连续表征。
• 开发一种显式学习与目标值连续排序对齐的回归感知表征的框架。
• 证明所提出方法在多样化回归任务中可提升性能、鲁棒性、数据效率和泛化能力。
• 在涵盖计算机视觉、人机交互和医疗保健的现实世界数据集上验证该方法的有效性。

提出的方法

• 提出一种新颖的损失函数——Rank-n-Contrast 损失（ℒ_RnC），根据样本的真实目标值对批量中的样本进行排序。
• 基于目标空间中的相对排名构建正样本对与负样本对，而非基于输入相似性或类别标签。
• 应用对比学习原则，促使具有相似目标排名的样本在特征空间中具有更接近的表征。
• 确保嵌入空间中表征的相对顺序与目标值的顺序一致，从而强制实现连续性。
• 将表征学习与最终预测解耦，使任何回归头均可与 RnC 学习到的特征配合使用。
• 端到端优化 ℒ_RnC 损失与标准回归头，确保与现有回归流程的兼容性。

实验结果

研究问题

• RQ1 能否设计一种对比学习框架，以显式捕捉回归目标的连续排序？
• RQ2 学习尊重目标值排序的表征是否相比标准损失函数能带来更好的回归性能？
• RQ3 与基线方法相比，RnC 在数据损坏和虚假目标下的鲁棒性提升程度如何？
• RQ4 在分布偏移下，RnC 在数据效率和泛化能力方面表现如何？
• RQ5 性能提升是源于所提出的损失函数，还是训练方案的副效应？

主要发现

• RnC 在涵盖计算机视觉、人机交互和医疗保健的五个真实世界回归数据集上实现了最先进性能。
• 该方法显著提升了数据效率，相较于标准回归基线，在较少训练样本下即可实现更好性能。
• RnC 在数据损坏和虚假目标下表现出更优的鲁棒性，能在分布偏移下保持性能。
• 该框架能很好地泛化到未见的目标值，表明其对连续目标空间具有强大的归纳偏置。
• 消融实验确认性能提升源于 ℒ_RnC 损失，而非训练方案，因为当在 RnC 特征上使用标准损失时性能并未提升。
• RnC 的训练时间与标准对比学习方法（如 SupCon）相当，表明无显著计算开销。