[论文解读] Ranking via Robust Binary Classification and Parallel Parameter Estimation in Large-Scale Data

Hyokun Yun, Parameswaran Raman+1 more|arXiv (Cornell University)|Feb 11, 2014

Machine Learning and Algorithms参考文献 18被引用 3

一句话总结

RoBiRank 是一种新颖的排序算法，将学习排序问题建模为鲁棒二分类问题，利用 NDCG 的非凸下界来提升顶部列表的性能。该方法支持高效的并行随机优化，在使用 32 台机器的情况下，于相同墙钟时间内相较于最先进竞争对手在 Million Song Dataset 上实现了 100% 的排序质量提升。

ABSTRACT

We propose RoBiRank, a ranking algorithm that is motivated by observing a close connection between evaluation metrics for learning to rank and loss functions for robust classification. The algorithm shows a very competitive performance on standard benchmark datasets against other representative algorithms in the literature. On the other hand, in large scale problems where explicit feature vectors and scores are not given, our algorithm can be efficiently parallelized across a large number of machines; for a task that requires 386,133 x 49,824,519 pairwise interactions between items to be ranked, our algorithm finds solutions that are of dramatically higher quality than that can be found by a state-of-the-art competitor algorithm, given the same amount of wall-clock time for computation.

研究动机与目标

• 通过识别排序指标（如 NDCG）与鲁棒损失函数之间的直接联系，弥合鲁棒二分类与学习排序之间的差距。
• 开发一种排序模型，通过允许在低排名项目上做出牺牲来优化顶部列表性能，从而模拟鲁棒分类对异常值的容忍性。
• 在显式特征和得分不可用的场景（如潜在协同检索）下，实现大规模设置中的高效参数估计。
• 设计一种并行随机优化算法，实现在机器之间近乎线性扩展，且通信量最小。
• 在相同墙钟时间约束下，超越现有最先进算法在收敛速度和最终排序质量方面的表现。

提出的方法

• 通过将 NDCG 表达为鲁棒损失函数（特别是基于 ramp 损失的函数）的一般化形式，将排序问题建模为鲁棒分类问题。
• 提出一种非凸目标函数，用于约束 NDCG 的下尾部分，从而在牺牲低排名项目性能的前提下提升顶部列表表现。
• 使用线性化技巧将非凸目标函数转化为连续且可微的函数，适用于基于梯度的优化。
• 设计一种并行随机优化算法，其每次更新的复杂度与数据集规模无关，且机器间通信量最小。
• 在潜在协同检索场景中应用该算法，其中特征向量和显式得分不可用，通过低秩矩阵建模用户-项目交互。
• 通过线性化技巧实现无偏随机梯度估计，从而在分布式环境中获得收敛性保证。

实验结果

研究问题

• RQ1 排序指标（如 NDCG）能否与二分类中使用的鲁棒损失函数建立正式关联？
• RQ2 基于鲁棒分类原则设计的非凸目标函数，是否能优于凸替代方案，实现更好的排序性能？
• RQ3 能否为大规模排序任务设计一种可扩展的并行随机优化算法，且无需显式特征或得分？
• RQ4 所提出的并行算法是否在相同墙钟时间内相比现有最先进方法展现出更高的排序质量？
• RQ5 在分布式环境中，该算法能否在实现接近线性扩展的同时保持收敛性保证？

主要发现

• 当 RoBiRank 与最先进竞争对手（Weston et al.）在 Million Song Dataset 上运行相同墙钟时间时，其 NDCG 性能实现了 100% 的提升。
• 在单台机器上，RoBiRank 表现具有竞争力，但由于额外变量导致收敛速度较慢，因此被基线模型超越；然而，在分布式设置中，这一差距被完全弥补。
• 使用 32 台机器的 RoBiRank 并行版本显著优于单机基线和非并行竞争对手，展现出强大的可扩展性。
• 由于机器间通信量极小，所提出的随机优化算法实现了接近线性的扩展，非常适合云环境部署。
• 目标函数的连续可微形式使得基于梯度的方法能够获得收敛性保证，而 Weston et al. [24] 中的非连续目标函数则不具备这一特性。
• 线性化技巧实现了无偏随机梯度，这对分布式优化中的收敛性至关重要，且难以直接适配到 Weston et al. 的原始公式中。