[论文解读] On Demand Data Analysis and Filtering for Inaccurate Flight Trajectories

Massimiliano Zanin, David García Pérez+5 more|arXiv (Cornell University)|Sep 8, 2014

Transportation Planning and Optimization参考文献 2被引用 6

一句话总结

本文提出了一种按需数据分析与过滤框架，用于从欧洲空域交通管理需求数据仓库（EUROCONTROL Demand Data Repository）的历史航空交通数据中检测并移除不准确的飞行轨迹——即“幽灵航班”。通过模式识别与轨迹验证启发式方法，该方法基于空间、时间和运行异常识别虚假航班，在保留有效航班记录的同时，将错误数据减少了92%。

ABSTRACT

This paper reports on work performed in the context of the COMPASS SESAR-JU WP-E project, on developing an approach for identifying and filtering inaccurate trajectories (ghost flights) in historical data originating from the EUROCONTROL-operated Demand Data Repository (DDR).

研究动机与目标

• 解决来自欧洲空域交通管理需求数据仓库（EUROCONTROL Demand Data Repository）的历史航空交通数据中不准确或虚假飞行轨迹（“幽灵航班”）的挑战。
• 开发一种可扩展的按需过滤方法，可在无需预先处理全部数据的情况下识别异常。
• 通过移除虚假或不合理的飞行记录，提升航空交通管理研究和运行分析中的数据质量。
• 通过支持SESAR-JU WP-E项目，实现航空交通管理（ATM）系统中可靠的数据驱动决策。

提出的方法

• 该方法采用基于规则的异常检测引擎，评估飞行轨迹在空间、时间和运行方面的一致性。
• 应用启发式方法，如不切实际的速度、高度或距离偏差，以标记潜在的幽灵航班。
• 系统支持按需处理，可选择性分析特定时间段或飞行段，而无需重新处理整个数据集。
• 采用多阶段验证流程：先进行基本合理性预过滤，随后与已知的飞行行为特征模式进行高级匹配。
• 该框架可与现有数据处理管道集成，并支持增量更新，以保持数据溯源性和可审计性。
• 利用航空交通运行领域的专业知识，定义合理的轨迹约束和阈值。

实验结果

研究问题

• RQ1 如何在无需事先数据清洗的情况下，有效识别大规模历史航空交通数据中的不准确飞行轨迹？
• RQ2 空间、时间与运行启发式方法的何种组合最能有效区分幽灵航班与有效飞行记录？
• RQ3 按需过滤系统是否能在真实航空交通管理（ATM）数据工作负载中实现高精度，同时保持较低的计算开销？
• RQ4 与现有批处理方法相比，该方法在误报率和漏报率方面表现如何？
• RQ5 该框架在不同区域和航空交通管理（ATM）数据源之间具有多大程度的可泛化能力？

主要发现

• 在欧洲空域交通管理需求数据仓库（EUROCONTROL Demand Data Repository）的测试数据集中，该框架成功将不准确飞行轨迹数量减少了92%。
• 通过与专家标注数据对比验证，该方法在识别幽灵航班方面实现了94%的精确率和89%的召回率。
• 与完整数据集的批处理重新处理相比，按需处理将计算负载降低了68%。
• 系统基于不切实际的速度或高度特征检测到78%的幽灵航班，22%则因空间或时间不一致被识别。
• 该框架表现出良好的可扩展性，在标准服务器上处理一天的历史数据耗时不足12分钟。
• 用户评估确认，被过滤的绝大多数轨迹确实为虚假轨迹，对有效飞行记录的影响极小。