[论文解读] The Klarna Product Page Dataset: Web Element Nomination with Graph Neural Networks and Large Language Models

Alexandra Hotti, Riccardo Sven Risuleo+3 more|arXiv (Cornell University)|Nov 3, 2021

Web Data Mining and Analysis被引用 4

一句话总结

本文介绍了 Klarna 产品页面数据集，这是一个大规模、多语言的网页集合，包含来自八个地理区域的 8,175 个网站的 51,701 个真实电子商务产品页面，每个页面均标注了五个关键元素。该研究提出了一种混合方法，结合简单的图卷积网络（GCN）进行初始元素提名，以及零样本大型语言模型（LLM）对预测结果进行优化，实现了无需微调的 16.8 个百分点的准确率提升，同时引入了一种新型训练流程，进一步提升了性能。

ABSTRACT

Description The Klarna Product Page Dataset is a dataset of publicly available pages corresponding to products sold online on various e-commerce websites. The dataset contains offline snapshots of 51,701 product pages collected from 8,175 distinct merchants across 8 different markets (US, GB, SE, NL, FI, NO, DE, AT) between 2018 and 2019. On each page, analysts labelled 5 elements of interest: the price of the product, its image, its name and the add-to-cart and go-to-cart buttons (if found). These labels are present in the HTML code as an attribute called klarna-ai-label taking one of the values: Price, Name, Main picture, Add to cart and Cart. The snapshots are available in 3 formats: as MHTML files (~24GB), as WebTraversalLibrary (WTL) snapshots (~7.4GB), and as screeshots (~8.9GB). The MHTML format is less lossy, a browser can render these pages though any Javascript on the page is lost. The WTL snapshots are produced by loading the MHTML pages into a chromium-based browser. To keep the WTL dataset compact, the screenshots of the rendered MTHML are provided separately; here we provide the HTML of the rendered DOM tree and additional page and element metadata with rendering information (bounding boxes of elements, font sizes etc.). The folder structure of the screenshot dataset is identical to the one the WTL dataset and can be used to complete the WTL snapshots with image information. For convenience, the datasets are provided with a train/test split in which no merchants in the test set are present in the training set. Corresponding Publication For more information about the contents of the datasets (statistics etc.) please refer to the following TMLR paper. GitHub Repository The code needed to re-run the experiments in the publication accompanying the dataset can be accessed here. Citing If you found this dataset useful in your research, please cite the paper as follows: @article{hotti2024the, title={The Klarna Product Page Dataset: Web Element Nomination with Graph Neural Networks and Large Language Models}, author={Alexandra Hotti and Riccardo Sven Risuleo and Stefan Magureanu and Aref Moradi and Jens Lagergren}, journal={Transactions on Machine Learning Research}, issn={2835-8856}, year={2024}, url={https://openreview.net/forum?id=zz6FesdDbB}, note={} }

研究动机与目标

• 为解决网页元素提名任务中缺乏大规模、真实且多样化的网页数据集的问题。
• 在真实世界的网页元素提名任务上对图神经网络（GNNs）进行基准测试。
• 探索将图神经网络（GNNs）与大型语言模型（LLMs）结合以提升提名准确率的可能性。
• 开发一种新型训练流程，以提升在复杂真实网页上的提名性能。
• 为未来在网页自动化和基于大型语言模型的网页交互研究中提供基础支持。

提出的方法

• Klarna 产品页面数据集包含来自八个不同国家的 8,175 个电子商务网站的 51,701 个真实产品页面，每个页面均包含五个手动标注的元素。
• 使用简单的 GCN-Mean 模型，基于 DOM 树中的局部邻域信息生成初始提名结果。
• 从 GCN 预测结果中选取高置信度且相关的元素子集，并将其传递给零样本大型语言模型（LLM）以完成最终提名。
• 该方法采用一种训练优化流程，通过识别并添加困难样本到训练集中，以提升模型的置信度和排序质量。
• 提出一种新型的挑战性提名训练流程（Challenge Nomination Training Procedure），通过直接优化提名目标来提升提名准确率。
• 该方法利用渲染后的网页截图作为补充数据集，以支持未来基于计算机视觉的网页分析。

实验结果

研究问题

• RQ1 简单的 GCN 是否能在真实世界、多样化的网页上超越更复杂的最先进提名方法？
• RQ2 当将零样本大型语言模型应用于 GCN 预测候选结果时，无需微调，其在多大程度上能提升提名准确率？
• RQ3 在训练过程中，困难样本增强的时机和频率如何影响模型收敛性和提名性能？
• RQ4 一种针对提名目标进行优化的训练流程（挑战性提名训练流程）是否能带来可测量的性能提升，优于标准训练方法？
• RQ5 多语言和地理多样性数据对网页元素提名模型的泛化能力和鲁棒性有何影响？

主要发现

• 简单的 GCN-Mean 模型在 Klarna 产品页面数据集上的表现优于更复杂的最先进方法，包括 FreeDOM 和 DOM-Q-NET。
• 混合 GCN-LLM 方法在无需对 LLM 进行任何微调的情况下，将提名准确率提升了 16.8 个百分点。
• 在训练过程中进行困难样本增强可稳定提升置信度差距，表明模型的排序质量更高，且更符合提名目标。
• 挑战性提名训练流程进一步提升了提名准确率，证明了针对特定目标设计训练策略的价值。
• 增强操作的时机对最终准确率影响极小，表明早期识别关键困难样本可显著提升模型性能。
• 该数据集的多语言和地理多样性使得模型能够学习真实世界中的布局和语言差异，从而增强其鲁棒性。