[论文解读] Rating through Voting: An Iterative Method for Robust Rating

Mohammad Allahbakhsh, Aleksandar Ignjatović|arXiv (Cornell University)|Nov 2, 2012

Internet Traffic Analysis and Secure E-voting参考文献 36被引用 24

一句话总结

本文提出了一种新颖的基于迭代投票的评分系统，将评分者的可信度评估与评分聚合解耦，从而在抵抗合谋、偏见和随机评分方面表现出鲁棒性。通过将评分建模为对离散评分等级的投票，并基于意见一致性迭代优化评分者的可信度，该方法收敛至固定点，生成的评分与IMDb高度一致，且对Rotten Tomatoes更具批判性——表明其在大规模系统中具备更优的可信度。

ABSTRACT

In this paper we introduce an iterative voting algorithm and then use it to obtain a rating method which is very robust against collusion attacks as well as random and biased raters. Unlike the previous iterative methods, our method is not based on comparing submitted evaluations to an approximation of the final rating scores, and it entirely decouples credibility assessment of the cast evaluations from the ranking itself. The convergence of our algorithm relies on the existence of a fixed point of a continuous mapping which is also a stationary point of a constrained optimization objective. We have implemented and tested our rating method using both simulated data as well as real world data. In particular, we have applied our method to movie evaluations obtained from MovieLens and compared our results with IMDb and Rotten Tomatoes movie rating sites. Not only are the ratings provided by our system very close to IMDb rating scores, but when we differ from the IMDb ratings, the direction of such differences is essentially always towards the ratings provided by the critics in Rotten Tomatoes. Our tests demonstrate high efficiency of our method, especially for very large online rating systems, for which trust management is both of the highest importance and one of the most challenging problems.

研究动机与目标

• 为解决大规模在线评分系统中信任管理的关键挑战，特别是针对合谋和有偏见的评分者。
• 开发一种在不依赖聚类、局部指标或最终评分近似值的情况下，对操纵具有鲁棒性的评分方法。
• 将评分者的可信度评估与实际评分计算解耦，以实现灵活且有原则的评分聚合。
• 提供一个基于不动点理论和约束优化的可证明收敛算法，确保系统的稳定性和可靠性。

提出的方法

• 该方法将产品评分建模为选举过程，用户对离散评分等级（例如1–10）进行投票，将每个等级视为潜在的共识选择。
• 通过基于选票一致性的连续映射，迭代计算每个评分等级的可信度，确保收敛至固定点。
• 评分者的可信度基于其投票与最具可信度的评分等级的一致性，不使用排名顺序或平均值。
• 算法对评分等级的可信度分数进行归一化，而非对评分者的可信度进行归一化，从而实现更清晰且更稳定的收敛性证明。
• 基于选择每个评分等级的可信投票者比例，采用一种信任更新规则，避免因分母爆炸导致的不稳定性。
• 最终评分独立计算为加权平均值，以评分等级的可信度分数作为权重，从而在统计特征选择上具有灵活性。

实验结果

研究问题

• RQ1 能否设计一种评分系统，使其在不依赖聚类或行为启发式方法的情况下，对合谋攻击具有鲁棒性？
• RQ2 如何实现评分者可信度的独立评估，以提升系统的稳定性和可信度，而不依赖于最终评分？
• RQ3 在一种避免近似最终评分的迭代评分系统中，可以提供哪些数学上的收敛保证？
• RQ4 仅依靠意见一致性——无需序数假设——能否产生可靠且鲁棒的评分结果？
• RQ5 与IMDb和Rotten Tomatoes等现实世界基准相比，该系统在准确性和与专家评价的一致性方面表现如何？

主要发现

• 所提出的方法通过连续映射的不动点实现收敛，该不动点同时也是约束优化目标的驻点，确保了理论上的稳定性。
• 在MovieLens数据上的测试表明，系统的评分与IMDb极为接近，表明其与社区共识高度一致。
• 当系统与IMDb存在偏差时，偏差方向始终与Rotten Tomatoes的影评人评分一致，表明其更准确地反映了专家判断。
• 该方法表现出高度的效率和可扩展性，适用于对信任管理至关重要的超大规模在线评分系统。
• 与先前方法不同，它避免了平均值、聚类或最终评分的近似，从而降低了对数据平滑化和操纵的敏感性。
• 通过将可信度评估与评分聚合解耦，该方法优于现有迭代模型，实现了更灵活且更鲁棒的结果计算。