[论文解读] TrueLabel + Confusions: A Spectrum of Probabilistic Models in Analyzing Multiple Ratings

Chao Liu, Yi‐Min Wang|arXiv (Cornell University)|Jun 18, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 10被引用 27

一句话总结

本文提出了一种分层贝叶斯模型 HybridConfusion，该模型扩展了 Dawid-Skene 框架，用于分析多个评分，通过同时建模真实标签和评委特定的混淆模式。该模型在合成数据集和真实世界数据集上均优于原始模型，能够捕捉到训练有素的评委之间的细微错误模式。

ABSTRACT

This paper revisits the problem of analyzing multiple ratings given by different judges. Different from previous work that focuses on distilling the true labels from noisy crowdsourcing ratings, we emphasize gaining diagnostic insights into our in-house well-trained judges. We generalize the well-known DawidSkene model (Dawid & Skene, 1979) to a spectrum of probabilistic models under the same "TrueLabel + Confusion" paradigm, and show that our proposed hierarchical Bayesian model, called HybridConfusion, consistently outperforms DawidSkene on both synthetic and real-world data sets.

研究动机与目标

• 通过诊断训练有素的内部评委在众包评分中的错误模式，超越简单的真实标签估计。
• 将“真实标签 + 混淆”范式推广为一系列概率模型，以提升可解释性和性能。
• 开发一种能够捕捉评委之间异质性错误行为的模型，特别是在具备熟练评分员的受控环境中。
• 在具有已知真实标签的合成数据和具有复杂评分模式的真实世界数据集上评估模型性能。

提出的方法

• 通过引入分层贝叶斯结构来建模个体评委的混淆矩阵，扩展了 Dawid-Skene 模型。
• 将每位评委的标注行为建模为给定真实标签的可能评分上的多项分布。
• 在混淆矩阵上使用狄利克雷先验，以实现正则化并促进评委之间的信息共享。
• 采用马尔可夫链蒙特卡洛（MCMC）推理方法，估计真实标签和混淆矩阵的后验分布。
• 提出一系列从共享混淆矩阵到完全独立混淆矩阵的模型，HybridConfusion 作为灵活的中间变体。
• 使用边际似然（贝叶斯因子）进行模型选择，以在复杂度与拟合度之间取得平衡。

实验结果

研究问题

• RQ1 我们如何在多评分场景中建模训练有素评委的错误模式，而不仅仅是进行简单的标签聚合？
• RQ2 建模个体混淆矩阵对真实标签估计准确性有何影响？
• RQ3 能否通过捕捉评委行为差异的分层贝叶斯模型，超越标准的 Dawid-Skene 模型？
• RQ4 模型性能在具有受控噪声的合成数据和具有复杂评分结构的真实世界数据集上如何变化？
• RQ5 在多评分标注系统中，模型复杂度与预测准确性的最优权衡是什么？

主要发现

• HybridConfusion 在真实标签恢复准确率方面，始终优于原始的 Dawid-Skene 模型，无论是在合成数据集还是真实世界数据集上。
• 分层结构有效捕捉了评委之间在混淆模式上的差异，尤其在评委具有不同错误倾向时表现显著。
• 当估计个体混淆矩阵而非假设共享混淆矩阵时，模型性能显著提升。
• 在混淆矩阵上使用狄利克雷先验，即使在每位评委的评分数据有限的情况下，也能实现稳健估计。
• 该模型谱系使实践者能够根据数据可用性和期望的可解释性水平，选择合适的复杂度级别。
• 实证结果表明，HybridConfusion 在真实世界数据集上的误差率低于 Dawid-Skene，尤其在评分员一致性高且噪声低的场景中表现更优。