[论文解读] Preprocessing: A Prerequisite for Discovering Patterns in Web Usage Mining Process

C. Ramya, G. Kavitha+1 more|arXiv (Cornell University)|May 2, 2011

Data Mining Algorithms and Applications参考文献 1被引用 7

一句话总结

本文提出了一套全面的网络使用挖掘预处理方法，整合了合并、数据清洗、用户/会话识别以及数据格式化，以减少日志大小并提升数据质量。该方法使原始网络日志文件减少了73–82%，同时生成结构化、无噪声的日志，为网络使用挖掘中的后续模式发现提供了优化支持。

ABSTRACT

Web log data is usually diverse and voluminous. This data must be assembled into a consistent, integrated and comprehensive view, in order to be used for pattern discovery. Without properly cleaning, transforming and structuring the data prior to the analysis, one cannot expect to find meaningful patterns. As in most data mining applications, data preprocessing involves removing and filtering redundant and irrelevant data, removing noise, transforming and resolving any inconsistencies. In this paper, a complete preprocessing methodology having merging, data cleaning, user/session identification and data formatting and summarization activities to improve the quality of data by reducing the quantity of data has been proposed. To validate the efficiency of the proposed preprocessing methodology, several experiments are conducted and the results show that the proposed methodology reduces the size of Web access log files down to 73-82% of the initial size and offers richer logs that are structured for further stages of Web Usage Mining (WUM). So preprocessing of raw data in this WUM process is the central theme of this paper.

研究动机与目标

• 解决在使用挖掘中处理多样化、海量且不一致的网络日志数据的挑战。
• 在模式发现之前通过去除噪声、冗余和不一致性来提升数据质量。
• 在保留有意义的用户交互信息的同时，减少原始访问日志的体积。
• 开发一个系统化的预处理流程，以支持高效且准确的网络使用挖掘。
• 通过实证实验验证所提出预处理方法的有效性。

提出的方法

• 该方法首先将多个日志文件合并为一个统一的数据集，以确保数据收集的全面性。
• 执行数据清洗，以移除无关条目，过滤噪声，并解决日志条目中的不一致性。
• 通过分析时间戳、IP地址和用户代理字符串来实现用户和会话识别，以将相关请求分组。
• 数据格式化与汇总将原始日志转换为适合分析的结构化、标准化记录。
• 该方法采用基于规则和启发式的技术，以检测并纠正日志条目中的异常。
• 最终输出是一个紧凑、干净且结构化的数据集，可直接用于后续网络使用挖掘阶段。

实验结果

研究问题

• RQ1 如何有效预处理网络日志数据，以提升其质量并减小其规模，从而支持使用挖掘？
• RQ2 哪些预处理技术在识别和解决网络访问日志中的不一致性方面最为有效？
• RQ3 在不丢失有意义的用户交互模式的前提下，预处理可将原始网络日志文件的大小减少多少？
• RQ4 所提出的预处理流程在多大程度上提升了网络日志的结构化程度和下游分析的可用性？
• RQ5 可使用哪些指标来评估该预处理方法的效率和有效性？

主要发现

• 所提出的预处理方法使原始访问日志文件的大小相比原始数据量减少了73–82%。
• 清洗并结构化的日志在用于网络使用挖掘的模式发现方面显著更合适。
• 该方法有效去除了冗余和无关数据，同时保留了关键的用户会话信息。
• 预处理流程通过解决不一致性和过滤日志中的噪声，显著提升了数据质量。
• 实验验证表明，该方法为后续挖掘任务生成了更丰富、更具分析价值的日志。
• 该方法在处理大规模网络日志数据集方面表现出强大的可扩展性和效率。