[论文解读] Your 2 is My 1, Your 3 is My 9: Handling Arbitrary Miscalibrations in Ratings

Jingyan Wang, Nihar B. Shah|arXiv (Cornell University)|Jun 13, 2018

Stock Market Forecasting MethodsDecision Sciences被引用 22

一句话总结

本文提出了一类新型估计器，利用具有任意未知偏差的等级评分——不假设线性或参数化偏差——但其表现严格且一致地优于任何仅依赖于诱导排序的估计器。该方法基于经验贝叶斯与施泰因收缩，利用等级评分的结构，在A/B测试和排序任务中实现更优性能，挑战了长期以来认为仅在排序信息下才有效这一观点。

ABSTRACT

Cardinal scores (numeric ratings) collected from people are well known to suffer from miscalibrations. A popular approach to address this issue is to assume simplistic models of miscalibration (such as linear biases) to de-bias the scores. This approach, however, often fares poorly because people's miscalibrations are typically far more complex and not well understood. In the absence of simplifying assumptions on the miscalibration, it is widely believed by the crowdsourcing community that the only useful information in the cardinal scores is the induced ranking. In this paper, inspired by the framework of Stein's shrinkage, empirical Bayes, and the classic two-envelope problem, we contest this widespread belief. Specifically, we consider cardinal scores with arbitrary (or even adversarially chosen) miscalibrations which are only required to be consistent with the induced ranking. We design estimators which despite making no assumptions on the miscalibration, strictly and uniformly outperform all possible estimators that rely on only the ranking. Our estimators are flexible in that they can be used as a plug-in for a variety of applications, and we provide a proof-of-concept for A/B testing and ranking. Our results thus provide novel insights in the eternal debate between cardinal and ordinal data.

研究动机与目标

• 挑战广泛持有的信念，即当偏差未知或任意时，等级评分仅在诱导排序的意义上有用。
• 设计一种利用等级评分但不对偏差形式做任何假设的估计器，即使偏差是对抗性选择的。
• 证明在任意偏差下，等级评分所包含的信息严格多于仅依赖排序的信息。
• 为A/B测试和项目排序等应用提供一种即插即用的框架，以改进现有基于排序的算法。
• 建立理论保证，证明基于等级评分的估计器在所有方面均优于任何基于排序的替代方法。

提出的方法

• 将偏差形式化为从真实值到报告评分的未知单调变换，不作任何参数假设。
• 应用经验贝叶斯与施泰因收缩框架，构建将评分收缩或调整至共同参考点的估计器，以在不确定性下提升估计性能。
• 设计一种基于评分加权平均的规范估计器，其中权重由观测到的排序结构与经验分布推导得出。
• 使用双信封问题类比，证明随机化估计器可优于确定性基于排序的策略。
• 推导理论界，证明所提出的等级评分估计器在成功概率方面严格优于所有基于排序的估计器。
• 证明仅当估计器尊重由观测排序所诱导的拓扑序时，才能实现最优性能，并表明等级评分估计器以更高概率满足此条件。

实验结果

研究问题

• RQ1 在未建模偏差的情况下，具有任意偏差的等级评分是否仍能优于基于排序的方法？
• RQ2 是否可能构造出在所有情况下均优于所有仅依赖排序的估计器的估计器，且无需假设偏差的参数形式？
• RQ3 当评审者偏差未知且可能具有对抗性时，能否利用等级评分的结构来改进A/B测试与排序任务？
• RQ4 在任意单调偏差下，等级评分与排序之间的理论关系是什么？
• RQ5 如何将经验贝叶斯与收缩技术适配于处理偏差评分，以保持或提升估计精度？

主要发现

• 所提出的等级评分估计器在任意对抗性偏差下，严格且一致地优于任何仅依赖诱导排序的估计器。
• 对于所有可能的偏差配置与真实排序，所提估计器的成功概率均超过任何仅依赖排序的估计器。
• 最优的基于排序的估计器必须始终输出与观测排序一致的拓扑序；所提等级评分估计器以更高概率满足此条件。
• 理论分析证明，使用等级评分的正确估计概率下限严格大于任何仅依赖排序方法所能达到的最大值。
• 该方法对离散评分尺度具有鲁棒性，仅需微小修改即可处理并列情况，并可自然扩展至同行评审等实际场景。
• 该框架可为现有A/B测试与排序算法提供即插即用的改进，为提升性能提供实用路径，而无需重构整个流程。