[论文解读] RankSim: Ranking Similarity Regularization for Deep Imbalanced Regression

Yu Gong, Greg Mori+1 more|arXiv (Cornell University)|May 30, 2022

Imbalanced Data Classification Techniques被引用 15

一句话总结

本文提出 RankSim，一种用于深度不平衡回归的新型排名相似性正则化方法，通过强制模型在标签空间中更接近的样本在学习的特征空间中也应更接近，从而引入归纳偏置。通过对齐标签空间与特征空间中邻居的全局排名，RankSim 在不平衡回归基准上提升了泛化性能，在 IMDB-WIKI-DIR、AgeDB-DIR 和 STS-B-DIR 上达到最先进性能，且与现有技术（如重加权和分布平滑）具有互补性。

ABSTRACT

Data imbalance, in which a plurality of the data samples come from a small proportion of labels, poses a challenge in training deep neural networks. Unlike classification, in regression the labels are continuous, potentially boundless, and form a natural ordering. These distinct features of regression call for new techniques that leverage the additional information encoded in label-space relationships. This paper presents the RankSim (ranking similarity) regularizer for deep imbalanced regression, which encodes an inductive bias that samples that are closer in label space should also be closer in feature space. In contrast to recent distribution smoothing based approaches, RankSim captures both nearby and distant relationships: for a given data sample, RankSim encourages the sorted list of its neighbors in label space to match the sorted list of its neighbors in feature space. RankSim is complementary to conventional imbalanced learning techniques, including re-weighting, two-stage training, and distribution smoothing, and lifts the state-of-the-art performance on three imbalanced regression benchmarks: IMDB-WIKI-DIR, AgeDB-DIR, and STS-B-DIR.

研究动机与目标

• 解决在少数标签被严重低估的不平衡回归数据集上进行深度学习的挑战，此时模型倾向于偏向多数标签。
• 利用回归中连续标签的天然排序，提升表示学习能力，超越分类任务的可能边界。
• 开发一种能捕捉标签空间与特征空间中样本之间局部与全局关系的正则化方法。
• 提升泛化能力，特别是在零样本和长尾场景下，此时少数或未见标签至关重要。
• 与现有不平衡学习技术（如重加权、两阶段训练和分布平滑）互补。

提出的方法

• RankSim 使用样本表示之间的余弦相似度，在标签空间（S^y）和特征空间（S^z）中构建成对相似性矩阵。
• 对于每个锚点样本，强制要求其在标签空间中的邻居相似度排序与在特征空间中的排序一致，从而保持邻近关系的全局排名。
• 该方法采用可微分损失，通过类似交叉熵的目标函数，最小化标签空间与特征空间中邻居排名顺序的差异。
• 正则化项在训练过程中应用，与标准优化兼容，仅增加少量计算开销。
• 设计上与其它技术（如 SQINV 重加权和 LDS/FDS 分布平滑）互补，可与之结合使用。
• 该方法基于小批量处理，每批次独立计算相似性矩阵，实现高效扩展。

实验结果

研究问题

• RQ1 在标签空间与特征空间中保持邻居的全局排名，是否能改善不平衡回归中的表示学习？
• RQ2 一种能捕捉近邻与远距离标签-特征关系的正则化方法，是否在长尾和零样本设置下优于仅关注局部的平滑方法？
• RQ3 在不同不平衡回归基准上，RankSim 与最先进方法（如 LDS 和 FDS）相比，在性能和鲁棒性方面表现如何？
• RQ4 RankSim 对超参数（如平衡权重 γ 和插值强度 λ）的选择有多鲁棒？
• RQ5 RankSim 是否能提升对未见（零样本）标签的泛化能力，尤其是在标签分布的极端区域？

主要发现

• RankSim 在三个公开的不平衡回归基准上实现了新的最先进性能：IMDB-WIKI-DIR、AgeDB-DIR 和 STS-B-DIR。
• 在 AgeDB-DIR 上，RankSim 在零样本区域的表现优于 LDS+FDS，性能差距在标签分布极端区域最大。
• 该方法仅带来微小的训练开销：在四张 1080 Ti GPU 上，前向传播耗时 16.8 秒/次，每轮训练耗时 38.8 秒，相比基线模型的 12.2 和 31.5 秒，开销增加有限。
• 性能对 γ 和 λ 的超参数变化具有鲁棒性，表明其在无需大量调参的情况下具有实际可用性。
• 在零样本评估中，RankSim 显著优于 LDS+FDS，表明其全局排名归纳偏置能实现比局部平滑方法更优的外推能力。
• 可视化结果表明，在平衡设置下，基线网络自然学习到的表示中，标签空间的接近性与特征空间的相似性存在相关性，验证了 RankSim 所强制实施的核心归纳偏置。