[论文解读] Taming Near Repeat Calculation for Crime Analysis via Cohesive Subgraph Computing

Zhaoming Yin, Xuan Shi|arXiv (Cornell University)|May 18, 2017

Data Visualization and Analytics参考文献 21被引用 3

一句话总结

该论文提出了一种基于图的新颖框架，结合R树索引与凝聚子图分析（k-clique、k-truss、k-core、DBSCAN），高效检测大规模时空犯罪数据中的近重复犯罪事件链。这是首个处理百万条记录犯罪数据并检测超过两个事件的事件链的方法，通过减少计算时间显著优于传统的O(n²)成对方法，揭示了更高阶的时空犯罪模式。

ABSTRACT

Near repeat (NR) is a well known phenomenon in crime analysis assuming that crime events exhibit correlations within a given time and space frame. Traditional NR calculation generates 2 event pairs if 2 events happened within a given space and time limit. When the number of events is large, however, NR calculation is time consuming and how these pairs are organized are not yet explored. In this paper, we designed a new approach to calculate clusters of NR events efficiently. To begin with, R-tree is utilized to index crime events, a single event is represented by a vertex whereas edges are constructed by range querying the vertex in R-tree, and a graph is formed. Cohesive subgraph approaches are applied to identify the event chains. k-clique, k-truss, k-core plus DBSCAN algorithms are implemented in sequence with respect to their varied range of ability to find cohesive subgraphs. Real world crime data in Chicago, New York and Washington DC are utilized to conduct experiments. The experiment confirmed that near repeat is a solid effect in real big crime data by conducting Mapreduce empowered knox tests. The performance of 4 different algorithms are validated, while the quality of the algorithms are gauged by the distribution of number of cohesive subgraphs and their clustering coefficients. The proposed framework is the first to process the real crime data of million record scale, and is the first to detect NR events with size of more than 2.

研究动机与目标

• 解决在大规模犯罪数据集上传统O(n²)近重复计算的计算不可行性。
• 将近重复犯罪事件建模为图，以实现对时空事件链的可扩展分析。
• 识别并比较凝聚子图算法（k-clique、k-truss、k-core、DBSCAN）在检测有意义事件簇方面的性能。
• 使用MapReduce加速的Knox检验验证现实犯罪数据中近重复效应的存在。
• 实现可扩展的、增量式的近重复事件链检测，以支持实时犯罪分析应用。

提出的方法

• 使用R树索引对犯罪事件进行索引，以支持高效的空间-时间邻近范围查询。
• 构建无向图，其中顶点代表犯罪事件，边连接在预定义时空窗口内的事件。
• 应用四种凝聚子图检测算法——k-clique、k-truss、k-core和DBSCAN——以识别近重复事件的密集簇。
• 使用MapReduce扩展Knox检验，以在大规模数据集上对近重复效应进行统计验证。
• 通过执行时间、凝聚子图数量及聚类系数分布评估算法性能。
• 在AWS上实现该框架，以处理来自芝加哥、纽约和华盛顿特区的真实犯罪数据。

实验结果

研究问题

• RQ1 凝聚子图分析能否在大规模犯罪数据中有效检测出超越成对交互的近重复犯罪事件链？
• RQ2 不同凝聚子图算法（k-clique、k-truss、k-core、DBSCAN）在近重复检测中的计算效率与聚类质量方面如何比较？
• RQ3 当分析事件链长度大于2而非仅成对事件时，近重复效应是否依然存在，经由统计Knox检验确认？
• RQ4 在真实犯罪数据集上，精确方法（k-clique）与近似方法（k-truss、k-core、DBSCAN）在性能权衡上如何？
• RQ5 所提出的框架能否扩展至在线流式犯罪数据，并具备增量检测能力？

主要发现

• 所提出的框架成功处理了高达百万条记录的真实犯罪数据，首次实现了对超过两个事件的近重复事件链的检测。
• k-truss在聚类系数质量方面优于k-core和DBSCAN，表明其能识别出更一致且更有意义的事件链。
• DBSCAN和k-core在大k值下表现出稳定的聚类系数，表明在较高凝聚度阈值下能检测到一致的时空模式。
• 主要计算开销集中在凝聚子图检测上，k-clique因时间复杂度呈指数增长而在大规模图上变得不切实际。
• k-truss和k-core在执行速度上显著快于k-clique，尤其在大规模密集图上，凸显了近似方法的优势。
• 由MapReduce加速的Knox检验在所有三个真实数据集（芝加哥、纽约、华盛顿特区）中均确认了显著的近重复效应。