[论文解读] Representations and Ensemble Methods for Dynamic Relational Classification

Ryan A. Rossi, Jennifer Neville|arXiv (Cornell University)|Nov 22, 2011

Bayesian Modeling and Causal Inference参考文献 11被引用 3

一句话总结

本文提出了一种用于动态关系分类的框架，通过时间粒度和加权策略，利用随时间演化的关联数据（包括随时间变化的链接、属性和节点）的时间表示。通过将这些表示整合到关系分类器和集成方法中，该方法在静态模型基础上显著提升了分类准确率，尤其在通信网络中建模演化主题时表现更优。

ABSTRACT

Temporal networks are ubiquitous and evolve over time by the addition, deletion, and changing of links, nodes, and attributes. Although many relational datasets contain temporal information, the majority of existing techniques in relational learning focus on static snapshots and ignore the temporal dynamics. We propose a framework for discovering temporal representations of relational data to increase the accuracy of statistical relational learning algorithms. The temporal relational representations serve as a basis for classification, ensembles, and pattern mining in evolving domains. The framework includes (1) selecting the time-varying relational components (links, attributes, nodes), (2) selecting the temporal granularity, (3) predicting the temporal influence of each time-varying relational component, and (4) choosing the weighted relational classifier. Additionally, we propose temporal ensemble methods that exploit the temporal-dimension of relational data. These ensembles outperform traditional and more sophisticated relational ensembles while avoiding the issue of learning the most optimal representation. Finally, the space of temporal-relational models are evaluated using a sample of classifiers. In all cases, the proposed temporal-relational classifiers outperform competing models that ignore the temporal information. The results demonstrate the capability and necessity of the temporal-relational representations for classification, ensembles, and for mining temporal datasets.

研究动机与目标

• 通过将时间动态整合到分类中，弥合关系学习中的空白，因为大多数现有方法仅关注静态快照。
• 开发一种灵活的框架，通过以不同粒度和影响程度建模随时间变化的组件（链接、属性、节点），发现最优的时间-关系表示。
• 通过在单个分类器和集成方法中利用时间表示，提升分类准确率。
• 探索时间表示在挖掘时间模式和发现关系数据中演化结构方面的效用。
• 证明建模时间动态对于在演化网络中实现准确预测至关重要，尤其是在通信和协作网络等场景中。

提出的方法

• 定义一种时序-关系分类框架，选择随时间变化的组件（链接、属性、节点），并应用时间粒度（时间步、时间窗、并集）。
• 应用时间加权（如指数衰减）以建模过去关联组件的影响，降低过时数据的影响。
• 通过组合时间表示构建加权关系分类器，使用如关系贝叶斯或其他概率分类器模型。
• 设计时间集成方法，通过在时间上采样、随机化或转换特征，利用时间变化以提升鲁棒性和准确率。
• 使用LDA（潜在狄利克雷分配）在通信网络中发现潜在主题，并随时间对链接和个体进行主题隶属标注。
• 使用真实世界数据集（电子邮件、错误报告和综合通信网络）进行模型评估，其中包含标注的时间主题和开发者效能指标。

实验结果

研究问题

• RQ1 与静态模型相比，演化链接、属性和节点的时间表示在多大程度上提升了分类准确率？
• RQ2 在动态关系数据中，为最大化预测性能，时间粒度与加权策略的最佳组合是什么？
• RQ3 时间集成方法是否能优于传统及更复杂的关联集成方法，同时避免学习最优表示的需要？
• RQ4 通信网络中的潜在主题模型在多大程度上随时间演化，这些模式与开发者效能的相关性如何？
• RQ5 时间表示在多大程度上增强了对关系数据集中有意义时间模式的发现？

主要发现

• 时序-关系分类器在所有评估的分类任务中均持续优于静态模型，证明了建模时间动态的必要性。
• 仅使用简单时间表示（如均匀加权或基础时间窗）的模型，其性能显著低于采用优化时间加权和粒度的模型。
• 利用时变特征的时间集成方法优于传统和复杂的关系集成方法，实现了更高的准确率，且无需学习最优表示。
• 通过LDA进行潜在主题建模揭示了通信网络中具有意义的演化模式，高效开发者表现出随时间持续的主题参与。
• 主题的时间演化与开发者效能密切相关，表明沟通结构和主题一致性可预测绩效表现。
• 具有细粒度时间粒度的复杂模型虽能提升性能，但计算成本极高，表明复杂性与性能增益之间存在权衡。