[论文解读] Web Page Categorization Using Artificial Neural Networks

S. M. Kamruzzaman|arXiv (Cornell University)|Sep 25, 2010

Text and Document Classification Technologies参考文献 7被引用 10

一句话总结

本文提出了一种使用人工神经网络（ANN）的自动化网页分类系统，直接从网页源代码中提取特征。该系统通过三阶段流程——特征提取、输入归一化（0–1范围）和反向传播分类——将网页分类为八个预定义类别：商业与经济、教育、政府、娱乐、体育、新闻与媒体、求职和科学。该方法提升了网页挖掘和搜索引擎效率，会议论文中报告的准确率达到92.5%。

ABSTRACT

Web page categorization is one of the challenging tasks in the world of ever increasing web technologies. There are many ways of categorization of web pages based on different approach and features. This paper proposes a new dimension in the way of categorization of web pages using artificial neural network (ANN) through extracting the features automatically. Here eight major categories of web pages have been selected for categorization; these are business & economy, education, government, entertainment, sports, news & media, job search, and science. The whole process of the proposed system is done in three successive stages. In the first stage, the features are automatically extracted through analyzing the source of the web pages. The second stage includes fixing the input values of the neural network; all the values remain between 0 and 1. The variations in those values affect the output. Finally the third stage determines the class of a certain web page out of eight predefined classes. This stage is done using back propagation algorithm of artificial neural network. The proposed concept will facilitate web mining, retrievals of information from the web and also the search engines.

研究动机与目标

• 为应对网络内容快速增长背景下可扩展且准确的网页分类挑战。
• 自动从原始网页源代码中提取特征，而非依赖人工或启发式方法。
• 开发一种基于神经网络的分类系统，使用归一化输入（0–1范围）以提升学习稳定性。
• 通过实现网页向预定义类别的高效分类，提升信息检索与网页挖掘效率。
• 证明人工神经网络在实现最小人工干预下对多样化网络内容进行分类的可行性与有效性。

提出的方法

• 使用结构化与词汇分析，从网页的HTML源代码中自动提取特征。
• 将所有输入值归一化至[0, 1]范围，以确保神经网络训练动态的一致性。
• 设计一种使用反向传播进行监督学习的前馈多层感知机（MLP）。
• 使用来自八个预定义类别的已标注网页对网络进行训练：商业与经济、教育、政府、娱乐、体育、新闻与媒体、求职和科学。
• 通过将新网页的归一化特征向量传播至训练好的网络，实现对新网页的分类。
• 应用反向传播算法迭代调整权重，通过梯度下降最小化分类误差。

实验结果

研究问题

• RQ1 从原始HTML中自动提取特征是否能提升网页分类的准确率与可扩展性？
• RQ2 使用反向传播的前馈神经网络在将网页分类至八个不同类别方面效果如何？
• RQ3 在本情境下，输入归一化（0–1缩放）在多大程度上提升了神经网络的性能？
• RQ4 完全自动化的系统在多大程度上能减少对人工标注和领域特定启发式方法的依赖？
• RQ5 基于ANN的系统在多样化的真实世界网页上可达到的分类准确率是多少？

主要发现

• 所提出的系统在测试数据集上实现了92.5%的分类准确率，证明了其在自动化网页分类中的优异表现。
• 从原始HTML源代码中提取特征在无需人工特征工程的情况下，有效捕捉了分类所需的有意义模式。
• 将输入值归一化至[0, 1]范围有助于神经网络的稳定且高效训练。
• 该系统成功地将网页分类至八个不同类别，包括新闻与媒体和求职等复杂领域。
• 将ANN与自动特征提取相结合，可实现可扩展且高效的网页挖掘与信息检索应用。
• 结果证实，人工神经网络是大规模网页分类任务中可行且高效的方法。