[论文解读] Significant Interval and Frequent Pattern Discovery in Web Log Data

Kanak Saxena, Rahul Shukla|arXiv (Cornell University)|Feb 5, 2010

Data Mining Algorithms and Applications参考文献 11被引用 14

一句话总结

本文提出了一种新颖的方法，通过单遍频繁事件发现（FED）算法，从网络日志数据中发现显著时间段和频繁模式。通过将时间序列数据按周期性（例如，天、周）折叠，该方法基于用户指定的最低置信度和最大长度，识别出显著时间段，从而实现对用户行为和网站兴趣的准确预测，适用于定向广告应用。

ABSTRACT

There is a considerable body of work on sequence mining of Web Log Data. We are using One Pass frequent Episode discovery (or FED) algorithm, takes a different approach than the traditional apriori class of pattern detection algorithms. In this approach significant intervals for each Website are computed first (independently) and these interval used for detecting frequent patterns/Episode and then the Analysis is performed on Significant Intervals and frequent patterns That can be used to forecast the user's behavior using previous trends and this can be also used for advertising purpose. This type of applications predicts the Website interest. In this approach, time-series data are folded over a periodicity (day, week, etc.) Which are used to form the Interval? Significant intervals are discovered from these time points that satisfy the criteria of minimum confidence and maximum interval length specified by the user.

研究动机与目标

• 解决传统基于apriori的算法在从网页日志数据中挖掘频繁模式时的局限性。
• 通过聚焦于从周期性网页访问模式中推导出的显著时间段，提高用户行为预测的准确性。
• 通过识别重复出现的用户兴趣模式，实现个性化广告等实际应用。
• 提出一种方法，在模式挖掘之前独立地为每个网站计算显著时间段，从而提高相关性和效率。
• 支持基于从显著时间段和频繁事件中提取的历史趋势，预测用户行为。

提出的方法

• 该方法首先将原始网页日志时间序列数据按选定的周期性（例如，每日或每周周期）进行折叠。
• 通过分析折叠后的时间序列数据，识别满足用户定义的最低置信度和最大长度约束的段落，从而发现显著时间段。
• 将单遍频繁事件发现（FED）算法应用于显著时间段，以提取频繁模式或事件。
• FED算法以单次遍历处理数据，相比传统的apriori风格方法，计算效率更高。
• 对提取出的频繁模式进行分析，以推断用户行为趋势和网站兴趣模式。
• 该方法支持下游应用，如基于发现的时序模式进行用户兴趣预测和定向广告。

实验结果

研究问题

• RQ1 如何自动发现网页日志数据中的显著时间段，以反映有意义的用户访问模式？
• RQ2 对时间序列数据进行周期性折叠对显著时间段识别有何影响？
• RQ3 与传统的基于apriori的方法相比，单遍FED算法在效率和模式发现准确性方面表现如何？
• RQ4 从显著时间段中提取的频繁模式在多大程度上可以预测未来的用户行为？
• RQ5 如何利用发现的模式支持实际应用，如定向广告？

主要发现

• 所提出的方法成功基于用户指定的置信度和长度约束，在网页日志数据中识别出显著时间段。
• 周期性折叠的使用增强了对重复访问模式的检测，提高了所发现时间段的相关性。
• 单遍FED算法实现了高效的频繁事件发现，无需多次数据库扫描。
• 从显著时间段中提取的频繁模式与用户行为趋势表现出强相关性，支持可靠预测。
• 该方法支持实际应用，如预测网站兴趣和基于时间用户行为模式的定向广告投放。
• 该方法在计算效率方面优于传统的基于apriori的方法，同时保持了高模式相关性。