[论文解读] On the Automated Classification of Web Sites

John M. Pierre|ArXiv.org|Feb 1, 2001

Web Data Mining and Analysis参考文献 13被引用 77

一句话总结

本文提出一种基于结构化元数据和智能爬虫的定向自动化网站分类系统，以提高行业类别分配的准确性。结果表明，HTML 元标签在分类性能方面表现最佳，可实现可扩展的、领域特定的元数据生成，从而支持语义网。

ABSTRACT

In this paper we discuss several issues related to automated text classification of web sites. We analyze the nature of web content and metadata in relation to requirements for text features. We find that HTML metatags are a good source of text features, but are not in wide use despite their role in search engine rankings. We present an approach for targeted spidering including metadata extraction and opportunistic crawling of specific semantic hyperlinks. We describe a system for automatically classifying web sites into industry categories and present performance results based on different combinations of text features and training data. This system can serve as the basis for a generalized framework for automated metadata creation.

研究动机与目标

• 解决通过自动化分类组织海量且快速增长的网络内容的挑战。
• 识别在缺乏广泛元数据使用的情况下，实现准确网站分类的有效文本特征。
• 开发一种可扩展的、领域特定的自动化元数据生成框架，结合定向爬取和可训练分类技术。
• 评估不同文本特征（尤其是元标签）对分类准确率的影响。
• 为通用的、自动化元数据创建系统奠定基础，以支持语义网。

提出的方法

• 采用定向爬虫提取元数据和语义相关的超链接，优先选择具有高区分度价值的内容。
• 使用可训练的文本分类引擎，基于提取的特征将网站分类到预定义的行业类别中。
• 优先将元标签作为主要特征，因其具有高度的相关性和准确性，仅在必要时才依赖正文文本。
• 实施多阶段分类流程：特征提取 → 使用领域特定数据进行训练 → 分类并评估性能。
• 利用现有领域知识指导特征选择，提升分类的鲁棒性。
• 设计系统时考虑可扩展性，支持未来与语义网标准及非文本内容的集成。

实验结果

研究问题

• RQ1 不同文本特征（如元标签、标题标签和正文文本）在自动化网站分类中的有效性如何？
• RQ2 与非结构化文本相比，使用结构化元数据在多大程度上能提升分类准确率？
• RQ3 定向爬虫策略是否能提高特征提取效率和分类性能？
• RQ4 训练数据质量和领域特异性对分类结果的影响如何？
• RQ5 如何使自动化分类系统具备通用性，以支持可扩展的、多维度的元数据创建？

主要发现

• HTML 元标签为自动化分类提供了最高质量的文本特征，在准确性方面显著优于正文文本。
• 尽管元标签效果显著，但在实践中并未被广泛使用，导致基于元数据的网络组织面临瓶颈。
• 优先提取元数据并遵循语义超链接的定向爬虫策略，可提高特征获取效率。
• 当使用领域特定数据进行训练时，系统可实现高分类准确率，证明了定向训练集的价值。
• 该方法为构建通用的、自动化元数据创建系统奠定了可行基础，可支持语义网。
• 结果表明，自动化分类可成为实现可扩展、高准确率且可扩展的元数据生成在网页上的关键推动力。