[论文解读] Ranking-aware Reinforcement Learning for Ordinal Ranking

Aiming Hao, Chen Zhu+3 more|arXiv (Cornell University)|Jan 28, 2026

Recommender Systems and Techniques被引用 0

一句话总结

tldr: RARL 将序回归与学习排序在一个强化学习框架中统一起来，具有排名感知的可验证奖励和用于改进探索的响应变异操作，以在三个序列基准上达到最先进的结果。

ABSTRACT

Ordinal regression and ranking are challenging due to inherent ordinal dependencies that conventional methods struggle to model. We propose Ranking-Aware Reinforcement Learning (RARL), a novel RL framework that explicitly learns these relationships. At its core, RARL features a unified objective that synergistically integrates regression and Learning-to-Rank (L2R), enabling mutual improvement between the two tasks. This is driven by a ranking-aware verifiable reward that jointly assesses regression precision and ranking accuracy, facilitating direct model updates via policy optimization. To further enhance training, we introduce Response Mutation Operations (RMO), which inject controlled noise to improve exploration and prevent stagnation at saddle points. The effectiveness of RARL is validated through extensive experiments on three distinct benchmarks.

研究动机与目标

• 在回归与排序任务中说明建模序依赖性的必要性。
• 提出一个统一的强化学习框架，联合优化回归精度和排序一致性。
• 引入可验证的排名感知奖励以引导策略优化。
• 开发响应变异操作（RMO）以增强探索并在基于 GRPO 的训练中避免熵崩溃。
• 在面部年龄估计、对象计数排序和美学评价等任务上展示最先进的性能。

提出的方法

• 采用带可验证奖励的强化学习（RLVR）和分组相对策略优化（GRPO）来训练策略，而无需学习奖励模型。
• 定义在真实值的容忍度 delta 内测量精度的回归奖励。
• 构建包含长度一致性、排序一致性（Kendall’s Tau）和排序准确性（Kendall’s Tau）的排序奖励。
• 将奖励组合成最终的排序感知奖励，在回归、排序和格式化目标之间用可调的 lambda 权衡。
• 引入响应变异操作（RMO），用高质量参考替换低奖励回答，重新激活梯度信号并增加探索。
• 采用两阶段训练策略：先仅优化回归，再在启用 RMO 的情况下联合优化回归与排序。

Fig. 1 : Flowchart of proposed RARL. For a given image-question pair, our RARL model generates multiple reasoning-based responses. It is then optimized via policy gradient using ranking-aware verifiable rewards. Then, the response mutation operation is employed to reactivate gradient signals and esc

实验结果

研究问题

• RQ1 一个统一的 RL 框架能否同时优化序任务的回归精度和排序一致性？
• RQ2 相较于单独监督，带有排名感知的可验证奖励是否能提升优化效率与模型性能？
• RQ3 所提的 RMO 机制是否能缓解熵崩溃并在基于 GRPO 的训练中增强探索？
• RQ4 RARL 在涉及面部年龄估计、对象计数排序和美学评估的多样化序基准上表现如何？
• RQ5 两阶段训练策略在该设置下是否有利于稳定多目标优化？

主要发现

• RARL 在三个基准上达到最先进的结果：面部年龄估计（UTKFace）、对象计数排序（COCO-REM）和美学评估（AVA）。
• 两阶段训练加上 RMO 相较于消融变体提高了多项设置的性能，降低了 MAE 并提升了排序指标。
• 单独的排序奖励就能实现较强的序列性能，凸显相对监督对有噪声标签的有效性。
• 将回归与排序奖励结合比只使用任一奖励获得更好性能，显示统一目标的协同作用。
• RMO 重新激活梯度信号并稳定训练，在 UTKFace 实验中带来改进的结果。
• 在 7B 和 3B 模型变体中，与基线相比，RARL 在回归精度（如 MAE 改进）和排序指标（如 Kendall’s Tau 与 SRCC）方面均有显著提升。