[论文解读] Time Constrained Continuous Subgraph Search over Streaming Graphs

Youhuan Li, Lei Zou+2 more|arXiv (Cornell University)|Jan 28, 2018

Graph Theory and Algorithms参考文献 13被引用 3

一句话总结

本文提出了一种新颖的系统，用于在具有时间顺序约束的流式图上进行连续子图同构搜索，采用基于分解的扩展列表和MS树，以减少空间占用并提高吞吐量。与现有最先进方法相比，该方法实现了高达10倍的吞吐量提升，并显著降低了空间成本，同时具备有效的并发管理机制，并在真实网络流量中成功检测到C&C服务器通信模式。

ABSTRACT

The growing popularity of dynamic applications such as social networks provides a promising way to detect valuable information in real time. Efficient analysis over high-speed data from dynamic applications is of great significance. Data from these dynamic applications can be easily modeled as streaming graph. In this paper, we study the subgraph (isomorphism) search over streaming graph data that obeys timing order constraints over the occurrence of edges in the stream. We propose a data structure and algorithm to efficiently answer subgraph search and introduce optimizations to greatly reduce the space cost, and propose concurrency management to improve system throughput. Extensive experiments on real network traffic data and synthetic social streaming data confirms the efficiency and effectiveness of our solution.

研究动机与目标

• 解决在具有严格边之间时间顺序约束的高速流式图数据上高效执行子图同构搜索的挑战。
• 降低在动态图中持续子图匹配过程中维护部分匹配所导致的高内存和计算成本。
• 通过在流式数据上的子图匹配中实施有效的并发管理，提升系统吞吐量。
• 实现实时检测网络和社交流数据中的复杂攻击模式（例如C&C通信、欺诈行为）。
• 提供一种带有时间约束的精确子图同构解决方案，不同于以往的近似或基于仿真的方法。

提出的方法

• 提出一种分解策略，将查询图拆分为更小的时间约束子查询（TC-subqueries），以高效管理部分匹配。
• 引入一种扩展列表数据结构，以在新边到达流中时增量地维护和更新部分匹配。
• 设计MS树（内存优化搜索树）以压缩和索引部分匹配状态，大幅降低空间开销。
• 实现并发管理机制，允许多个子查询匹配并行处理，从而提升系统吞吐量。
• 基于分解设计连接顺序策略，以最小化中间部分匹配的数量，降低计算成本。
• 使用基于时间戳的剪枝和时间约束验证，确保仅保留符合边顺序的合法匹配。

实验结果

研究问题

• RQ1 如何在高速流式图上高效维护具有时间顺序约束的子图同构？
• RQ2 何种分解策略可在保持正确性的同时最小化部分匹配数量，并支持高效计算？
• RQ3 如何在不牺牲性能的前提下减少流式图上连续子图匹配的内存使用？
• RQ4 何种并发控制机制可实现在动态图上实时子图匹配的高吞吐量？
• RQ5 所提出的系统能否以高精度和低延迟在真实网络流量中检测到实际攻击模式（例如C&C通信）？

主要发现

• 所提方法在真实和合成的流式图工作负载上，吞吐量最高可达现有最先进方法的10倍。
• MS树显著降低了空间成本，随着分解大小（k）增加，空间使用仅适度增长，证实了其内存效率。
• 吞吐量随分解大小（k）增加而下降，证实了较小的k值可获得更优性能，与设计预期一致。
• 系统成功在真实网络流量中检测到ZeuS僵尸网络C&C通信模式，匹配发生在正确时间（2017年11月28日），验证了其在真实场景中的适用性。
• 在所有测试工作负载（网络流量、社交流、wiki-talk）中，该方法在吞吐量和空间效率方面均优于替代方案，尤其在窗口大小较大时表现更优。
• 随着查询规模增大，查询结果的选择性降低，但随着窗口大小增加，选择性提高，反映了模式复杂度与检测可能性之间的预期权衡。