[论文解读] Web Usage Mining: Pattern Discovery and Forecasting

Dhanamma Jagli, Sangeeta Oswal|arXiv (Cornell University)|Oct 9, 2013

Data Mining Algorithms and Applications参考文献 4被引用 3

一句话总结

本文提出了一种网络使用挖掘框架，通过聚类技术从高校网站日志数据中发现用户访问模式，并利用时间序列分析预测未来的访问者数量和点击次数。主要贡献在于结合基于聚类的模式发现与预测建模的混合方法，实现了对网络流量趋势的准确预测，有助于系统规划与资源分配。

ABSTRACT

Web usage mining: automatic discovery of patterns in clickstreams and associated data collected or generated as a result of user interactions with one or more Web sites. This paper describes web usage mining for our college log files to analyze the behavioral patterns and profiles of users interacting with a Web site. The discovered patterns are represented as clusters that are frequently accessed by groups of visitors with common interests. In this paper, the visitors and hits were forecasted to predict the further access statistics.

研究动机与目标

• 从高校网站环境的Web服务器日志文件中识别重复出现的用户访问模式。
• 基于用户的点击流数据，将具有相似导航行为的用户分组为聚类。
• 基于历史访问统计数据，预测未来的网络流量（访问者与点击次数）。
• 通过预测分析支持系统容量规划与资源优化。
• 展示网络使用挖掘在学术网络环境中的实际适用性。

提出的方法

• 应用聚类算法，基于高校网站日志中的点击流数据，将具有相似访问模式的用户分组。
• 将用户访问序列转换为适合聚类分析的事务型记录。
• 使用时间序列预测模型，基于历史趋势预测未来的访问者数量与页面点击次数。
• 利用聚类结果识别用户画像及频繁访问的内容组。
• 数据预处理包括日志文件解析、会话重建以及分析用特征提取。
• 基于历史访问统计数据训练预测模型，以预测未来的网络流量。

实验结果

研究问题

• RQ1 在高校网站环境中，从用户点击流数据中可以发现哪些重复出现的访问模式？
• RQ2 如何基于导航模式将用户行为分组为有意义的聚类？
• RQ3 在多大程度上可以利用历史访问数据准确预测未来的网络流量（访问者与点击次数）？
• RQ4 所发现的用户聚类与特定内容或服务使用之间存在何种关联？
• RQ5 所提出的方法能否支持教育网络系统中的主动资源分配？

主要发现

• 聚类方法成功识别出在高校网站上具有共同兴趣与导航行为的用户群体。
• 观察到特定内容组（如学术资源与行政服务）存在频繁访问模式。
• 预测模型在多个时间间隔内均表现出对未来的访问者与点击次数的可靠预测能力。
• 聚类与预测的整合为网络系统管理与优化提供了可操作的洞察。
• 该方法在实际高校网站日志数据上的真实应用中表现有效，支持实际部署。
• 结果表明，网络使用挖掘可提升学术网络环境中的用户体验与系统效率。