[论文解读] Pattern and Anomaly Detection in Urban Temporal Networks

Mingyi He, Shivam Pathak+5 more|arXiv (Cornell University)|Nov 25, 2019

Anomaly Detection Techniques and Applications参考文献 38被引用 6

一句话总结

本文提出了一种用于城市时空网络异常检测的三阶段流程，结合社区检测进行网络聚合、主成分分析（PCA）进行降维，以及高斯混合模型（GMM）进行基于聚类的异常检测。在纽约市出租车和台北市地铁数据上的评估显示，该方法取得了优异的AUROC得分（纽约市为0.95，台北市为0.93），优于基线的时间序列和节点级聚合方法，其优势在于保留了网络的拓扑结构并能检测局部异常。

ABSTRACT

Broad spectrum of urban activities including mobility can be modeled as temporal networks evolving over time. Abrupt changes in urban dynamics caused by events such as disruption of civic operations, mass crowd gatherings, holidays and natural disasters are potentially reflected in these temporal mobility networks. Identification and early detecting of such abnormal developments is of critical importance for transportation planning and security. Anomaly detection from high dimensional network data is a challenging task as edge level measurements often have low values and high variance resulting in high noise-to-signal ratio. In this study, we propose a generic three-phase pipeline approach to tackle curse of dimensionality and noisiness of the original data. Our pipeline consists of i) initial network aggregation leveraging community detection ii) unsupervised dimensionality reduction iii) clustering of the resulting representations for outlier detection. We perform extensive experiments to evaluate the proposed approach on mobility data collected from two major cities, New York City and Taipei. Our results empirically prove that proposed methodology outperforms traditional approaches for anomaly detection. We further argue that the proposed anomaly detection framework is potentially generalizable to various other types of temporal networks e.g. social interactions, information propagation and epidemic spread.

研究动机与目标

• 为解决在高维、噪声较大的城市时空网络中检测异常事件的挑战。
• 克服传统时间序列和节点级聚合方法因丢失结构信息和局部模式而带来的局限性。
• 开发一种可泛化的框架，用于检测事件异常——即整个网络状态偏离正常模式的情况——且无需依赖标注数据。
• 评估结合社区检测、降维和聚类在捕捉有意义的网络动态以实现异常检测方面的有效性。
• 展示该方法在不同城市地理环境和移动数据源中的鲁棒性。

提出的方法

• 利用社区检测进行初始网络聚合，以粗粒度方式保留网络的拓扑和结构模式。
• 通过主成分分析（PCA）进行无监督降维，以减少噪声并处理高维聚合表示。
• 使用高斯混合模型（GMM）对低维表示进行聚类，以分配似然得分并识别低概率（异常）的网络状态。
• 通过将似然得分显著偏低的网络状态分类为异常，实现异常检测。
• 对比多种流程配置：IO+PCA、Comm+PCA、IO+AE、Comm+AE以及基线时间序列聚合。
• 使用AUROC作为主要评估指标，以在不同异常阈值下评估性能。

实验结果

研究问题

• RQ1 结合社区检测、降维和聚类的三阶段流程是否能比传统基于聚合的方法更有效地检测城市时空网络中的异常？
• RQ2 在聚合过程中保留拓扑结构，与节点级或系统级聚合相比，对异常检测性能有何影响？
• RQ3 在城市移动数据的异常检测任务中，PCA是否优于自编码器（AE）进行降维？
• RQ4 该提出的流程在不同城市和移动数据类型（如出租车与地铁网络）之间具有多大程度的泛化能力？
• RQ5 流程中每一阶段对整体检测性能的贡献如何，特别是在识别局部异常与全局异常方面？

主要发现

• 所提出的流程（Comm + PCA）在纽约市取得0.95的最高AUROC，在台北市取得0.93，显著优于时间序列基线（分别为0.70和0.53）。
• 所有流程配置，尤其是包含降维的配置，均优于基线时间序列方法；后者因结构信息丢失而无法检测局部异常。
• 基于社区检测的聚合（Comm）优于节点级聚合（IO），因为前者保留了结构模式和连通性，而IO仅捕捉了局部流量变化。
• PCA在降维中始终优于自编码器，除台北市的IO+AE配置外，表明非线性方法在此类数据规模和结构下可能无益处。
• 三阶段流程至关重要：聚合与降维均不可或缺，因为两阶段方法（如IO+PCA）的性能劣于完整流程。
• 该方法在地理和结构差异显著的城市间表现出强泛化能力，表明其在社会、信息及流行病动力学等时间网络中具有广泛的应用潜力。