[论文解读] Towards Automated Website Classification by Deep Learning

Fabrizio De Fausti, Francesco Pugliese+1 more|arXiv (Cornell University)|Oct 22, 2019

Web Data Mining and Analysis被引用 4

一句话总结

本文提出了一种使用卷积神经网络（CNNs）和词嵌入的深度学习流水线，用于将意大利企业网站分类为电子商务等类别，将原始网页文本转化为类似图像的矩阵以提高信噪比。该方法显著优于Istat测试的传统机器学习方法，在官方统计数据应用的自动网站分类任务中达到最先进水平。

ABSTRACT

In recent years, the interest in Big Data sources has been steadily growing within the Official Statistic community. The Italian National Institute of Statistics (Istat) is currently carrying out several Big Data pilot studies. One of these studies, the ICT Big Data pilot, aims at exploiting massive amounts of textual data automatically scraped from the websites of Italian enterprises in order to predict a set of target variables (e.g. e-commerce) that are routinely observed by the traditional ICT Survey. In this paper, we show that Deep Learning techniques can successfully address this problem. Essentially, we tackle a text classification task: an algorithm must learn to infer whether an Italian enterprise performs e-commerce from the textual content of its website. To reach this goal, we developed a sophisticated processing pipeline and evaluated its performance through extensive experiments. Our pipeline uses Convolutional Neural Networks and relies on Word Embeddings to encode raw texts into grayscale images (i.e. normalized numeric matrices). Web-scraped texts are huge and have very low signal to noise ratio: to overcome these issues, we adopted a framework known as False Positive Reduction, which has seldom (if ever) been applied before to text classification tasks. Several original contributions enable our processing pipeline to reach good classification results. Empirical evidence shows that our proposal outperforms all the alternative Machine Learning solutions already tested in Istat for the same task.

研究动机与目标

• 开发一种基于网络抓取文本内容的自动化系统，用于对意大利企业网站进行分类。
• 解决从企业网站获取的大规模原始网页文本中信号-噪声比低的挑战。
• 评估深度学习模型与传统机器学习方法在预测ICT调查变量（如电子商务活动）方面的性能表现。
• 应用此前在文本分类中较少使用的假阳性减少框架，以提升模型的鲁棒性和准确性。
• 通过支持可扩展的、自动化的网络数据采集，减少对人工调查的依赖，从而支持官方统计数据。

提出的方法

• 该方法使用词嵌入将原始网站文本转换为归一化的数值矩阵（灰度图像），以保留语义含义。
• 卷积神经网络（CNN）处理这些类似图像的表示，以从文本数据中学习分层特征。
• 该流水线整合了假阳性减少框架，以过滤掉噪声或无关的预测，从而提高分类的可靠性。
• 文本预处理包括归一化、分词和嵌入映射，以降低维度并提升模型泛化能力。
• 模型在大规模标注了目标变量（如电子商务存在性）的意大利企业网站数据集上进行端到端训练。
• 性能通过标准NLP指标（如F1值、精确率、召回率）在多个分类任务中进行评估。

实验结果

研究问题

• RQ1 仅使用文本内容，深度学习模型能否有效将企业网站分类到预定义类别（如电子商务）？
• RQ2 在低信号、高噪声的网络数据中，假阳性减少框架如何提升文本分类的鲁棒性？
• RQ3 基于CNN的模型结合词嵌入在企业网站分类中，相较于传统机器学习方法，其性能提升程度如何？
• RQ4 文本预处理和嵌入技术对真实网络数据中模型性能的影响如何？
• RQ5 自动化网站分类在多大程度上可以减轻官方统计数据中人工数据采集的负担？

主要发现

• 所提出的深度学习流水线在相同分类任务中，性能全面优于Istat此前测试的所有传统机器学习模型。
• 结合词嵌入与CNN的方法，能够从原始非结构化网站文本中有效学习特征。
• 假阳性减少框架显著提高了模型的精确率，并减少了在噪声网络数据中的错误预测。
• 该模型在不同企业行业类别中均表现出强大的泛化能力，在电子商务分类任务中保持了高F1值。
• 实证结果证实，与经典方法相比，深度学习方法在处理现实网络内容的复杂性和变异性方面更为有效。
• 该系统为官方统计数据提供了一种可扩展的、自动化的数据采集替代方案，替代传统的基于调查的数据收集方式。