[论文解读] Universal and Distinct Properties of Communication Dynamics: How to Generate Realistic Inter-event Times

Pedro O. S. Vaz de Melo, Christos Faloutsos+3 more|arXiv (Cornell University)|Mar 19, 2014

Complex Network Analysis Techniques参考文献 32被引用 6

一句话总结

本文提出自 feeding 过程（SFP），一种简洁的点过程模型，仅使用最多两个参数即可生成人类通信动态中的真实事件间隔时间。该模型在八个不同数据集中捕捉了四种普遍模式——幂律优势比斜率≈1、连续间隔间的时间相关性、个体事件间隔时间的二元正态分布，以及建模依赖关系时的独立同分布假设，同时支持合成数据生成与异常检测。

ABSTRACT

With the advancement of information systems, means of communications are becoming cheaper, faster and more available. Today, millions of people carrying smart-phones or tablets are able to communicate at practically any time and anywhere they want. Among others, they can access their e-mails, comment on weblogs, watch and post comments on videos, make phone calls or text messages almost ubiquitously. Given this scenario, in this paper we tackle a fundamental aspect of this new era of communication: how the time intervals between communication events behave for different technologies and means of communications? Are there universal patterns for the inter-event time distribution (IED)? In which ways inter-event times behave differently among particular technologies? To answer these questions, we analyze eight different datasets from real and modern communication data and we found four well defined patterns that are seen in all the eight datasets. Moreover, we propose the use of the Self-Feeding Process (SFP) to generate inter-event times between communications. The SFP is extremely parsimonious point process that requires at most two parameters and is able to generate inter-event times with all the universal properties we observed in the data. We show the potential application of SFP by proposing a framework to generate a synthetic dataset containing realistic communication events of any one of the analyzed means of communications (e.g. phone calls, e-mails, comments on blogs) and an algorithm to detect anomalies.

研究动机与目标

• 识别跨多样化通信技术（如电子邮件、短信、电话通话和基于网络的交互）的事件间隔时间（IEDs）的普遍性与独特统计特性。
• 开发一种最小化、简洁的生成模型，能够复制真实通信数据中观察到的 IED 模式。
• 实现保留普遍性与系统特异性通信动态的合成数据集生成。
• 展示实际应用，如在通信系统中进行异常检测。

提出的方法

• 提出自 feeding 过程（SFP），一种基于延迟反馈机制的点过程，利用前一个事件间隔时间，并在指数分布中随机抽取延迟后进行反馈，以生成事件间隔时间。
• 通过在反馈回路中引入随机延迟 ε，将 SFP 修改为 SFP*，以减少人为相关性，更好地匹配实证相关性（0.43 vs. 0.70）。
• 通过从指数分布中采样接收者数量和延迟，增强 SFP 以支持多接收者场景，模拟短信突发行为。
• 通过添加常数开销 θ 以考虑拨号和连接时间，对 SFP 进行调整，以改进在下界附近的拟合效果。
• 使用 SFP 模型生成保留边缘幂律分布、时间相关性及二元正态结构的合成通信事件序列。
• 将合成模型应用于检测异常，如自动化短信服务、已删除的博客文章以及 YouTube 评论区的激烈争论。

实验结果

研究问题

• RQ1 在电子邮件、短信、电话通话和基于网络的交互等多样化通信技术中，事件间隔时间是否存在普遍的统计模式？
• RQ2 连续事件间隔时间之间的时间相关性如何挑战通信动态中独立同分布（i.i.d.）生成的假设？
• RQ3 像 SFP 这样仅含两个参数的最小化模型，能否复制真实通信数据中观察到的普遍特性？
• RQ4 SFP 模型在多大程度上可被扩展以捕捉特定系统行为，如多接收者或拨号延迟？
• RQ5 SFP 生成的合成数据能否在真实通信系统中有效用于异常检测？

主要发现

• 分析的八个数据集——涵盖电子邮件、短信、电话通话和基于网络的评论——均表现出事件间隔时间的幂律优势比分布，斜率 ρ ≈ 1。
• 真实数据中连续事件间隔时间之间的平均皮尔逊相关系数约为 0.4，表明存在强烈的时间依赖性。
• SFP* 模型将人为相关性降低至 0.43，与真实数据高度一致，同时保持幂律斜率 ρ ≈ 1。
• 各系统中个体事件间隔时间序列的联合分布可用二元正态分布良好建模。
• SFP 模型成功生成了复制关键统计特性的合成数据，支持准确的异常检测（例如，识别自动化短信服务、已删除内容及激烈争论）。
• 对 SFP 的修改——如增加接收者延迟和拨号开销 θ——能准确再现特定系统行为，如短信突发和电话通话建立延迟。