[论文解读] Regularized Minimax Conditional Entropy for Crowdsourcing

Dengyong Zhou, Qiang Liu+3 more|arXiv (Cornell University)|Mar 25, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 41被引用 52

一句话总结

本文提出了一种正则化极小极大条件熵框架，用于众包标注，联合估计真实标签、工作者能力与项目难度。通过最小化最坏情况下的条件熵并引入正则化，该方法在二元、多分类和有序标注任务中均表现出更高的准确率和鲁棒性。

ABSTRACT

There is a rapidly increasing interest in crowdsourcing for data labeling. By crowdsourcing, a large number of labels can be often quickly gathered at low cost. However, the labels provided by the crowdsourcing workers are usually not of high quality. In this paper, we propose a minimax conditional entropy principle to infer ground truth from noisy crowdsourced labels. Under this principle, we derive a unique probabilistic labeling model jointly parameterized by worker ability and item difficulty. We also propose an objective measurement principle, and show that our method is the only method which satisfies this objective measurement principle. We validate our method through a variety of real crowdsourcing datasets with binary, multiclass or ordinal labels.

研究动机与目标

• 通过同时建模工作者可靠性与项目难度，解决众包标注中低质量标签的挑战。
• 构建一个原则性的概率框架，联合估计真实标签、工作者混淆矩阵与项目难度。
• 提出一种满足客观度量原则的独特方法，确保标签聚合的一致性与公平性。
• 将该方法扩展至处理有序标注任务，引入新的邻接混淆假设。
• 通过正则化防止过拟合，同时生成可靠的概率标签估计。

提出的方法

• 提出极小极大条件熵原则，以在给定噪声工作者标签的前提下，最小化真实标签估计的最坏情况不确定性。
• 利用拉格朗日松弛法推导对偶优化问题，实现高效的坐标上升优化。
• 通过在工作者和项目参数（α 和 β）上施加 L2 惩罚项引入正则化，防止过拟合。
• 使用坐标上升算法，交替更新工作者/项目参数与真实标签后验概率。
• 应用 KKT 条件，基于工作者响应的似然性，推导真实标签概率的闭式更新。
• 为有序标签引入邻接混淆假设，允许在相邻类别之间进行结构化误分类。

实验结果

研究问题

• RQ1 如何设计一种标签聚合方法，以同时考虑众包标注中的工作者能力与项目难度？
• RQ2 何种原则性目标函数可在不确定性下确保标签估计的公平性与唯一性？
• RQ3 极小极大条件熵方法是否能在准确率与鲁棒性方面超越多数投票法与现有概率模型？
• RQ4 该框架如何扩展以处理具有结构化误分类的有序标注任务？
• RQ5 何种正则化策略能有效防止过拟合，同时保持高标签估计准确率？

主要发现

• 所提方法在真实世界众包数据集（涵盖二元、多分类与有序标签）上的表现优于基线方法。
• 该方法唯一满足所提出的客观度量原则，确保标签聚合的一致性与公平性。
• 正则化显著提升泛化能力，降低在噪声或稀疏标注数据上的过拟合风险。
• 对偶形式使基于坐标上升的优化高效可靠，适用于多样化数据集。
• 当忽略项目难度时，该模型自然退化为经典的 Dawid-Skene 模型，验证了其理论一致性。
• 实验结果表明，所有标签类型下的 F1 分数均提升，错误率降低，尤其在多分类与有序设置中表现显著。