[论文解读] WTF? Discovering the Unexpected in next-generation radio continuum surveys

E. J. Crawford, R. P. Norris+1 more|arXiv (Cornell University)|Nov 9, 2016

Radio Astronomy Observations and Technology参考文献 1被引用 4

一句话总结

该论文提出了'WTF'（广域异常源发现者）项目，旨在通过机器学习和基于云基础设施的协作数据挑战，主动发现下一代射电连续谱巡天（如EMU）中的意外天体物理现象。通过在真实和模拟数据中嵌入模拟的'鸡蛋'（类比于偶然发现），项目测试算法以识别异常值，目标是系统性地发现超出预设科学目标的新天体。

ABSTRACT

Most major discoveries in astronomy have come from unplanned discoveries made by surveying the Universe in a new way, rather than by testing a hypothesis or conducting an investigation with planned outcomes. Next generation radio continuum surveys such as the Evolutionary Map of the Universe (EMU: the radio continuum survey on the new Australian SKA Pathfinder telescope), will significantly expand the volume of observational phase space, so we can be reasonably confident that we will stumble across unexpected new phenomena or new types of object. However, the complexity of the instrument and the large data volumes mean that it may be non-trivial to identify them. On the other hand, if we don't, then we may be missing out on the most exciting science results from EMU. We have therefore started a project called "WTF", which explicitly aims to mine EMU data to discover unexpected science that is not part of our primary science goals, using a variety of machine-learning techniques and algorithms. Although targeted specifically at EMU, we expect this approach will have broad applicability to astronomical survey data.

研究动机与目标

• 开发一种系统化方法，用于在大型射电连续谱巡天（如EMU）中发现超出预设科学目标的意外天体物理现象。
• 解决在拍字节级数据集中识别稀有或异常源的挑战，其中人工检查不可行。
• 创建一个基于亚马逊云服务（AWS）的协作式、基于云的平台，用于托管数据挑战并支持跨多样化团队的算法测试。
• 建立国际协作、资源分配和大型数据挖掘项目发表的最佳实践。
• 通过在EMU全面运行前优化异常检测技术，为即将到来的海量数据洪峰做好准备。

提出的方法

• 项目采用分阶段方法：首先在AWS上建立可扩展的数据存储和计算的云基础设施。
• 将模拟的'鸡蛋'——代表假设的新天体物理现象——嵌入真实和合成的射电巡天数据中，包括图像和具有多波段关联的表格数据。
• 开展一系列盲数据挑战，外部团队在不知情的情况下应用其算法检测这些隐藏的'鸡蛋'。
• 采用多种机器学习技术，包括聚类（k-means、DBSCAN）、降维（t-SNE、自编码器）和异常检测算法。
• 平台支持可视化工具以解释结果并指导算法优化，采用挑战、开发和重新测试的迭代循环。
• 项目从模拟数据逐步过渡到真实ASKAP早期科学数据，最终扩展至完整的EMU巡天数据，从而提高真实发现的可能性。

实验结果

研究问题

• RQ1 如何有效应用机器学习技术检测大规模射电连续谱巡天中的稀有或异常源？
• RQ2 在多维数据空间中识别意外天体物理现象时，最优的算法与数据表示组合是什么？
• RQ3 即使在部分真实数据中嵌入了模拟发现，协作式、基于云的挑战是否能成功识别新型源？
• RQ4 如何构建一个可扩展、可扩展且协作性强的研究基础设施，以支持天文学中的大规模数据挖掘？
• RQ5 在数据密集型、以发现为导向的项目中，管理国际合作、资源分配和发表的最佳实践是什么？

主要发现

• WTF项目已成功在AWS上建立基于云的协作基础设施，用于托管大规模数据挑战，支持可扩展的数据处理和算法测试。
• 使用模拟'鸡蛋'在真实和合成数据中的初步数据挑战已验证平台架构，并证明其可扩展至更大用户群体。
• 项目已在Phase 2和Phase 3阶段创造了真实意外发现的机会，特别是在引入真实ASKAP数据后。
• 不同机器学习算法在性能上因数据类型和异常特征而异，凸显了在异常检测中算法多样性的重要性。
• 挑战、算法开发和优化的迭代循环被证明能有效随时间提升检测能力。
• 项目预计在2017年过渡到完整EMU数据，显著提高发现真实、此前未知天体物理现象的可能性。