[论文解读] Robust Statistical Ranking: Theory and Algorithms

Qianqian Xu, Jiechao Xiong+2 more|arXiv (Cornell University)|Aug 15, 2014

Advanced Statistical Methods and Models参考文献 56被引用 3

一句话总结

本文提出了一种基于众包成对比较的鲁棒统计排名框架，用于视觉属性评估。通过利用霍奇分解将循环排名分量识别为异常值，采用Huber LASSO与线性Bregman迭代实现异常值检测，在数据不完整、不平衡且受污染的情况下，仍能实现统计一致且偏差减少的排名——在真实视觉数据集FGLFW和Shoes上得到了有效验证。

ABSTRACT

Abstract—Deeply rooted in classical social choice and voting theory, statistical ranking with paired comparison data experienced its renaissance with the wide spread of crowdsourcing technique. As the data quality might be significantly damaged in an uncontrolled crowdsourcing environment, outlier detection and robust ranking have become a hot topic in such data analysis. In this paper, we propose a robust ranking framework based on the principle of Huber’s robust statistics, which formulates outlier detection as a LASSO problem to find sparse approximations of the cyclic ranking projection in Hodge decomposition. Moreover, simple yet scalable algorithms are developed based on Linearized Bregman Iteration to achieve an even less biased estimator than LASSO. Statistical consistency of outlier detection is established in both cases which states that when the outliers are strong enough and in Erdös-Rényi random graph sampling settings, outliers can be faithfully detected. Our studies are supported by experiments with both simulated examples and real-world data. The proposed framework provides us a promising tool for robust ranking with large scale crowdsourcing data arising from computer vision, multimedia, machine learning, sociology, etc.

研究动机与目标

• 解决在不完整、不平衡及受污染的众包成对标注下鲁棒视觉属性排名的挑战。
• 识别并减轻大规模众包数据中标签噪声与不一致标注的影响。
• 开发一种统计一致且可扩展的排名框架，即使在数据受污染的情况下仍能保持准确性。
• 实现基于细粒度属性（如年龄、颜色或质量）的视觉实例可靠顶排检索。

提出的方法

• 该框架利用霍奇分解将排名数据分解为调和、梯度与循环分量，将循环分量作为主要污染源进行隔离。
• 异常值检测被表述为对循环排名投影的稀疏逼近，从而识别出不一致或噪声较大的比较。
• 提出一种基于Huber LASSO的优化模型，以鲁棒方式估计排名，同时最小化异常值的影响。
• 采用线性Bregman迭代以降低估计器偏差，并自动选择正则化参数。
• 该方法具备可扩展性，专为大规模众包数据设计，并在弱条件下具备理论一致性保证。
• 通过合成模拟与真实视觉属性数据集（包括FGLFW和Shoes）对方法进行了验证。

实验结果

研究问题

• RQ1 如何在众包视觉属性评估中有效检测并减轻噪声或不一致成对标注的影响？
• RQ2 在不完整且不平衡的排名数据中，识别异常值的理论基础是什么？
• RQ3 在数据受污染与稀疏的情况下，鲁棒排名框架能否保持统计一致性与低偏差？
• RQ4 在真实视觉数据集中，该方法与现有学习排序及异常值检测技术相比表现如何？
• RQ5 该框架能否基于细粒度属性（如年龄或颜色）可靠地检索出顶排视觉实例？

主要发现

• 所提方法结合Huber LASSO与线性Bregman迭代，在与理论保证相同的条件下实现了统计一致的异常值检测。
• 在Shoes数据集中，LBI与无偏LASSO+L2方法成功保持了所有正样本与负样本的一致得分，而其他方法则表现出得分扰动。
• 仅LBI与无偏LASSO+L2正确分离了正负样本，形成了清晰的得分差距，从而实现了可靠的顶排检索。
• LBI与LASSO+L2的异常值检测结果高度一致，仅有两对冲突结果位于正常与噪声观测的边界附近。
• 在模拟与真实数据上的实验结果表明，该框架能有效处理不完整、不平衡及受污染的众包数据，适用于视觉属性评估。