[论文解读] The Lovasz-Bregman Divergence and connections to rank aggregation, clustering, and web ranking

Rishabh Iyer, Jeff Bilmes|arXiv (Cornell University)|Aug 9, 2014

Bayesian Modeling and Causal Inference参考文献 31被引用 9

一句话总结

本文引入了洛瓦兹-布雷格曼（Lovasz-Bregman, LB）散度作为一种新颖的散度度量，用于量化得分向量与排序之间的失真，从而为排序聚合、聚类和网络排名提供统一的框架。它表明LB散度可推广关键指标如NDCG和AUC，支持置信度感知的排序，并涵盖Mallows模型和学习排序（Learning-to-Rank）方法等模型。

ABSTRACT

We extend the recently introduced theory of Lovasz-Bregman (LB) divergences (Iyer & Bilmes 2012) in several ways. We show that they represent a distortion between a "score" and an "ordering", thus providing a new view of rank aggregation and order based clustering with interesting connections to web ranking. We show how the LB divergences have a number of properties akin to many permutation based metrics, and in fact have as special cases forms very similar to the Kendall-tau metric. We also show how the LB divergences subsume a number of commonly used ranking measures in information retrieval, like NDCG and AUC. Unlike the traditional permutation based metrics, however, the LB divergence naturally captures a notion of "confidence" in the orderings, thus providing a new representation to applications involving aggregating scores as opposed to just orderings. We show how a number of recently used web ranking models are forms of Lovasz-Bregman rank aggregation and also observe that a natural form of Mallow's model using the LB divergence has been used as conditional ranking models for the "Learning to Rank" problem.

研究动机与目标

• 将洛瓦兹-布雷格曼散度的理论扩展至建模排序任务中得分与排序之间失真的问题。
• 在单一散度框架下统一现有排序度量，如NDCG和AUC。
• 提供一种置信度感知的排序表示，超越传统的纯排列度量。
• 将LB散度与网络排名和聚类中的既有模型（包括Mallows模型和学习排序）建立联系。
• 通过理论和实证基础，证明LB散度在基于顺序的聚类和排序聚合中的适用性。

提出的方法

• 将洛瓦兹-布雷格曼散度定义为利用子模函数和洛瓦兹扩展对Bregman散度的推广。
• 将该散度表述为实值得分向量与其由这些得分排序所诱导的排序之间失真的度量。
• 证明LB散度可退化为已知度量：在特定参数化下，它包含Kendall-tau作为特例，并涵盖NDCG和AUC。
• 利用洛瓦兹扩展处理非光滑、离散的排序函数，从而在排序问题中实现基于梯度的优化。
• 证明基于成对偏好和条件排序的网络排名模型可表示为LB散度的最小化。
• 通过展示使用LB散度的Mallows模型的自然形式与学习排序中的条件排序一致，建立与Mallows模型的联系。

实验结果

研究问题

• RQ1 洛瓦兹-布雷格曼散度如何用于建模得分向量与其诱导排序之间的失真？
• RQ2 洛瓦兹-布雷格曼散度在何种方式下推广或涵盖现有排序度量（如NDCG和AUC）？
• RQ3 LB散度如何在排序中引入置信度？相较于传统排列度量，其优势为何？
• RQ4 LB散度与网络排名和学习排序中既有模型之间存在何种关系？
• RQ5 LB散度能否在统一的理论框架下整合排序聚合、聚类和网络排名？

主要发现

• 洛瓦兹-布雷格曼散度推广了Kendall-tau度量，后者在特定条件下可作为其特例出现。
• LB散度涵盖了常用的IR度量（如NDCG和AUC），为这些度量提供了统一的数学框架。
• 该散度通过将得分视为连续值而非仅离散排序，自然地融入了对排序的置信度。
• 多个现有网络排名模型（包括基于成对偏好的模型）被证明等价于最小化一个LB散度。
• 基于LB散度的Mallows模型的条件排序模型被识别为学习排序文献中的一种自然表述。
• 该框架通过将排序视为数据点并使用LB散度作为相似性度量，实现了基于顺序的聚类。