[论文解读] Optimizing the Human-Machine Partnership with Zooniverse

L. Fortson, Darryl Wright+2 more|arXiv (Cornell University)|Sep 25, 2018

Virtual Reality Applications and Impacts参考文献 10被引用 6

一句话总结

本文提出了一种在公民科学中优化人机协作的方案，利用 Zooniverse 的先进决策引擎 Caesar，根据机器置信度和人类技能动态分配任务。通过将实时机器学习与智能任务路由相结合，该系统在模拟中将人类工作量减少了 43%，同时保持了准确性，并将模型收敛速度提升至八倍。

ABSTRACT

Over the past decade, Citizen Science has become a proven method of distributed data analysis, enabling research teams from diverse domains to solve problems involving large quantities of data with complexity levels which require human pattern recognition capabilities. With over 120 projects built reaching nearly 1.7 million volunteers, the Zooniverse.org platform has led the way in the application of Citizen Science as a method for closing the Big Data analysis gap. Since the launch in 2007 of the Galaxy Zoo project, the Zooniverse platform has enabled significant contributions across many disciplines; e.g., in ecology, humanities, and astronomy. Citizen science as an approach to Big Data combines the twin advantages of the ability to scale analysis to the size of modern datasets with the ability of humans to make serendipitous discoveries. To cope with the larger datasets looming on the horizon such as astronomy's Large Synoptic Survey Telescope (LSST) or the 100's of TB from ecology projects annually, Zooniverse has been researching a system design that is optimized for efficiency in task assignment and incorporating human and machine classifiers into the classification engine. By making efficient use of smart task assignment and the combination of human and machine classifiers, we can achieve greater accuracy and flexibility than has been possible to date. We note that creating the most efficient system must consider how best to engage and retain volunteers as well as make the most efficient use of their classifications. Our work thus focuses on understanding the factors that optimize efficiency of the combined human-machine system. This paper summarizes some of our research to date on integration of machine learning with Zooniverse, while also describing new infrastructure developed on the Zooniverse platform to carry out this research.

研究动机与目标

• 通过整合人类模式识别与机器学习，解决科学研究所面临的海量数据分析缺口。
• 通过基于机器置信度和人类技能水平的智能任务分配，减轻人类志愿者的负担。
• 通过聚焦于最具信息量、不确定性最高或影响最大的样本进行人工分类，提升模型训练效率。
• 构建可扩展、可扩展的基础设施，实现在公民科学项目中人类与机器的实时、自适应协作。

提出的方法

• Zooniverse Panoptes API 作为核心平台，负责管理项目工作流、主题分发和分类记录。
• Caesar 决策引擎使用提取器从分类中提取特征，使用归约器形成共识，并使用效果模块更新主题和用户状态。
• 通过附加到主题的元数据集成机器学习模型，包括用于实时决策的预训练置信度分数。
• 根据预测表现将主题分配给特定志愿者群体，高技能用户被优先分配给复杂或不确定的案例。
• 通过优先将低机器置信度的样本分配给人类审查来实现主动学习，从而加速模型收敛。
• 使用无监督聚类将相似图像分组，使志愿者能够对整个图像簇进行分类或识别异常，从而降低单个任务的工作量。

实验结果

研究问题

• RQ1 如何有效将机器学习模型集成到公民科学工作流中，以减少人工分类的工作量？
• RQ2 基于机器置信度和人类技能的动态任务分配对分类准确性和效率有何影响？
• RQ3 通过人类分类器的实时反馈实施主动学习，是否能显著加速大规模项目中的模型收敛？
• RQ4 在缺乏类别标签先验知识的情况下，无监督图像聚类如何提升标注效率？
• RQ5 将主题有针对性地分配给特定志愿者群体，在优化人机协作中发挥何种作用？

主要发现

• 将机器置信度分数与人工分类相结合，显著提升了真实项目中的分类表现。
• 在 Camera CATalogue 项目中，通过优先让前两名志愿者与机器预测一致，将人类工作量减少了 43%，同时保持了准确性。
• 模拟结果显示，在 Galaxy Zoo 项目中，结合智能任务分配的主动学习可使分类速度提升八倍。
• 该系统实现了主题向高技能志愿者的实时路由，提升了复杂或模糊案例的分类质量。
• 无监督聚类使志愿者能够对整个图像组进行分类或检测异常，降低了单个任务的工作量并提高了标注效率。
• Caesar 决策引擎成功管理了动态工作流，实现了基于实时人类与机器反馈的任务分配自适应调整。