[论文解读] Muon Hunter: a Zooniverse project

R. Bird, M. K. Daniel+9 more|arXiv (Cornell University)|Feb 24, 2018

Particle Detector Development and Performance被引用 5

一句话总结

Muon Hunter 利用 Zooniverse 平台的公民科学项目，对 VERITAS 甚高能切伦科夫望远镜数据中的μ子环图像进行分类，从而为卷积神经网络（CNN）提供高精度的训练数据，实现背景抑制与校准。该模型在测试中达到 97% 的准确率，优于标准 VERITAS 分析方法，证明了在高能天体物理学中，众包标注在机器学习应用中的强大潜力。

ABSTRACT

The large datasets and often low signal-to-noise inherent to the raw data of modern astroparticle experiments calls out for increasingly sophisticated event classification techniques. Machine learning algorithms, such as neural networks, have the potential to outperform traditional analysis methods, but come with the major challenge of identifying reliably classified training samples from real data. Citizen science represents an effective approach to sort through the large datasets efficiently and meet this challenge. Muon Hunter is a project hosted on the Zooniverse platform, wherein volunteers sort through pictures of data from the VERITAS cameras to identify muon ring images. Each image is classified multiple times to produce a "clean" dataset used to train and validate a convolutional neural network model both able to reject background events and identify suitable calibration data to monitor the telescope performance as a function of time.

研究动机与目标

• 解决在高能天体物理学中为机器学习训练标注大规模、信噪比低的数据集的挑战。
• 通过识别模仿伽马射线信号的μ子环图像，提高甚高能（VHE）伽马射线观测中的背景事件抑制能力。
• 通过识别纯净的μ子环事件，利用已知的μ子环光分布轮廓实现绝对相机校准。
• 开发一种可扩展的、基于公民科学的流水线，为监督式机器学习模型生成高纯度训练数据。
• 通过与标准 VERITAS 分析方法对比，并评估多位分类者之间的一致性，验证志愿人员标注的可靠性。

提出的方法

• 在 Zooniverse 平台上部署公民科学项目，让志愿者将 VERITAS 望远镜拍摄的图像分类为包含μ子环或不包含。
• 采用多票制工作流：每张图像由 15 名志愿者进行分类，以估算分类置信度并减少个体错误。
• 应用投票阈值：若 10 张及以上票数认为存在μ子环，则将图像标记为μ子事件；否则标记为非μ子事件。
• 使用志愿者达成一致意见的标注数据集作为真实标签，训练卷积神经网络（CNN）。
• 使用相同的测试集，将 CNN 的性能与标准 VERITAS 分析流水线进行对比。
• 利用社交媒体和推广工具吸引志愿者参与，并收集人口统计信息以优化项目设计。

实验结果

研究问题

• RQ1 公民科学能否有效为高能天体物理学中的机器学习模型生成高精度训练标签？
• RQ2 在志愿者标注数据上训练的 CNN 模型性能，与在标准 VERITAS 分析标签上训练的模型相比如何？
• RQ3 志愿者的标注在多大程度上与既定分析方法一致，能够识别出μ子环图像？
• RQ4 志愿者之间的共识投票能否可靠地识别出噪声较大的切伦科夫望远镜数据中的真实μ子环事件？
• RQ5 公民科学在发现自动化流水线可能遗漏的意外或异常事件方面，能发挥何种作用？

主要发现

• 在 Muon Hunter 志愿者标注数据上训练的 CNN 模型，测试准确率达到约 97%，优于标准 VERITAS 分析方法的约 95% 准确率。
• 在总共 137,515 张图像中，12% 的图像获得全体一致投票，表明存在μ子环；73% 的图像被全体一致判定为非μ子。
• 每张图像的投票分布显示，15% 的图像存在分歧或模糊分类，表明存在相当比例的模糊或复杂事件。
• 该项目成功吸引了 134,000 张图像的参与，共完成 137,515 次分类，表明在多样化人口背景中均实现了强烈的志愿者参与。
• 通过 Facebook 和专用博客等社交媒体推广，项目覆盖了 55 个国家，提供了用户人口统计信息，尤其揭示了女性在参与中的代表性不足。
• 通过志愿者输入，项目识别出罕见或意外的图像，凸显了人机协同系统在发现自动化流水线可能遗漏的异常现象方面的潜力。