[论文解读] Tricolour: an optimized SumThreshold flagger for MeerKAT

B. Hugo, Simon Perkins+3 more|arXiv (Cornell University)|Jun 18, 2022

Wireless Communication Networks Research被引用 21

一句话总结

Tricolour 是一个开源的 Python 包，实现针对 MeerKAT 数据的优化的 SumThreshold 和基于 MAD 的 RFI 标记，通过 Dask 和 Numba 提高吞吐量。它在双插槽服务器上以 >400 GiB/hr 的速率处理 208 kHz 通道化的宽带数据。

ABSTRACT

We present Tricolour, a package for Radio Frequency Interference mitigation of wideband finely channelized MeerKAT correlation data. The MeerKAT passband is heavily affected by interference from satellite, mobile, aircraft and terrestrial transponders. Coupled with typical data rates in excess of 100 GiB/hr at 208kHz channelization resolution, mitigation poses a significant processing challenge. Our flagger is highly configurable, parallel and optimized, employing Dask and Numba technologies to implement the widely used SumThreshold and MAD interference detection algorithms. We find that typical 208kHz channelized datasets can be processed at rates in excess of 400 GiB/hr for a typical L-band flagging strategy on a modern dual-socket Intel Xeon server.

研究动机与目标

• 为 MeerKAT 宽带、细分通道化数据开发一个可配置、可扩展的 RFI 标记工具。
• 利用并行性和缓存优化内核实现高吞吐量处理。
• 提供基于 YAML 的界面，供用户定义标记策略。
• 支持通过 Measurement Set v2.0 的输入，以及分块的 Dask Arrays。
• 在多核服务器硬件上评估性能和可扩展性。

提出的方法

• 实现基于 SumThreshold 的 RFI 检测，结合二维时间-频率窗口。
• 对核心算法使用 Numpy，使用 Numba 进行缓存优化的内核。
• 通过 Dask-ms 以分块的 Dask Arrays 进行摄取，以实现跨基线的并行处理。
• 提供基于 YAML 的界面，供用户自定义窗口大小和灵敏度参数。
• 在双插槽 Intel Xeon 系统上进行基准测试，以衡量缩放和吞吐量（∼400 GiB/hr）。
• 允许静态掩码和残差产物来帮助背景估计。

实验结果

研究问题

• RQ1 Tricolour 是否能够实现 MeerKAT 的 208 kHz 通道化数据的线速率标记或接近线速率？
• RQ2 SumThreshold 方法在 MeerKAT RFI 上在假阳性/假阴性方面的表现如何？
• RQ3 在典型服务器硬件上，随着核心数量和数据规模增加，Tricolour 的可扩展性如何？
• RQ4 静态掩码和残差在提高不同带宽（L、UHF）上的标记质量方面有多有效？
• RQ5 该管线是否可以适用于除了 MeerKAT 以外的其他具有 Measurement Set v2.0 接口的仪器？

主要发现

• 典型的 208 kHz 通道化数据集可以在双插槽 Xeon 服务器上以超过 400 GiB/hr 的速率处理。
• 在对缓存性能和分块大小进行调整后，标记器对超过 20 个物理核心的扩展具有良好扩展性。
• 基于 YAML 的界面使得可定制化的标记策略适用于不同的科学案例。
• 实现使用缓存优化的 Numba 内核和基于 NumPy 的 SumThreshold，基于基线进行并行化。
• 标记性能受内存密集度影响，并通过分块大小和亲和性调优来优化。