[论文解读] Sequence Graph Transform (SGT): A Feature Extraction Function for Sequence Data Mining (Extended Version)

Chitta Ranjan, Samaneh Ebrahimi+1 more|arXiv (Cornell University)|Aug 11, 2016

Data Mining Algorithms and Applications被引用 3

一句话总结

本文提出序列图变换（SGT），一种新颖的特征提取函数，通过以低计算成本将序列数据嵌入低维空间，高效捕捉序列数据中的短期和长期模式。SGT在序列挖掘任务（如分类、聚类和搜索）中表现出色，其准确性和效率优于现有方法。

ABSTRACT

The ubiquitous presence of sequence data across fields such as the web, healthcare, bioinformatics, and text mining has made sequence mining a vital research area. However, sequence mining is particularly challenging because of difficulty in finding (dis)similarity/distance between sequences. This is because a distance measure between sequences is not obvious due to their unstructuredness---arbitrary strings of arbitrary length. Feature representations, such as n-grams, are often used but they either compromise on extracting both short- and long-term sequence patterns or have a high computation. We propose a new function, Sequence Graph Transform (SGT), that extracts the short- and long-term sequence features and embeds them in a finite-dimensional feature space. Importantly, SGT has low computation and can extract any amount of short- to long-term patterns without any increase in the computation, also proved theoretically in this paper. Due to this, SGT yields superior result with significantly higher accuracy and lower computation compared to the existing methods. We show it via several experimentation and SGT's real world application for clustering, classification, search and visualization as examples.

研究动机与目标

• 解决在数据挖掘应用中测量非结构化、可变长度序列之间（不）相似性的挑战。
• 克服现有特征提取方法（如n-gram）的局限性，这些方法要么牺牲模式保留，要么产生高计算成本。
• 开发一种特征提取函数，能够在不增加计算复杂度的前提下捕捉短期和长期序列模式。
• 实现在聚类、分类、搜索和可视化等多样化应用中的高效且准确的序列挖掘。
• 对SGT的可扩展性和相对于现有方法的性能优势进行理论和实证验证。

提出的方法

• 提出序列图变换（SGT）作为将序列转换为有限维特征空间的特征提取函数。
• 构建一种序列图表示，以编码序列中的局部（短期）和全局（长期）模式。
• 使用基于图的变换方法，保留不同序列长度下的结构和序列关系。
• 设计SGT函数，使其计算成本恒定，与提取的模式数量无关，从而确保可扩展性。
• 理论分析证明，SGT的计算复杂度保持较低，并且独立于所捕获的模式数量。
• 将生成的特征向量嵌入适合下游机器学习和基于相似性的任务的固定维空间。

实验结果

研究问题

• RQ1 是否存在一种特征提取方法，能够以低计算成本高效捕捉可变长度序列中的短期和长期模式？
• RQ2 在序列挖掘任务中，SGT与n-gram等现有方法相比，在准确性和计算效率方面表现如何？
• RQ3 SGT在不增加计算成本的前提下，能够扩展到任意长度序列的程度如何？
• RQ4 SGT是否能在真实应用场景（如序列数据的聚类、分类和可视化）中提升性能？
• RQ5 SGT的低复杂度特性的理论基础是否在实际序列挖掘工作负载下有效且可验证？

主要发现

• 在序列分类和聚类任务中，SGT的准确率显著高于现有方法。
• 理论证明SGT的计算成本与提取的短期和长期模式数量无关，始终保持较低水平。
• 由于其紧凑且有限维的特征表示，该方法可实现高效的序列搜索和可视化。
• 实证评估表明，SGT在多个真实世界序列挖掘应用中表现优越。
• 与基于n-gram的方法相比，SGT在不增加计算成本的前提下，更有效地捕捉了局部和全局序列模式。
• 理论分析确认，SGT的计算复杂度独立于模式数量，从而确保了可扩展性。