[论文解读] Web Data Knowledge Extraction

Juan M. Tirado, Ovidiu Şerban+2 more|arXiv (Cornell University)|Mar 24, 2016

Web Data Mining and Analysis参考文献 21被引用 4

一句话总结

本文提出了一种以专家为中心、借助机器辅助的网络知识抽取方法，使领域专家——即使技术背景有限——也能通过可重用、可配置的组件驱动数据抽取流程。通过整合自动化结构分析与专家引导的标注，该方法降低了对开发人员的依赖，并成功地将欧洲来源的异构公共采购数据抽取并映射到统一模式中，展示了可扩展性和可维护性。

ABSTRACT

A constantly growing amount of information is available through the web. Unfortunately, extracting useful content from this massive amount of data still remains an open issue. The lack of standard data models and structures forces developers to create adhoc solutions from the scratch. The figure of the expert is still needed in many situations where developers do not have the correct background knowledge. This forces developers to spend time acquiring the needed background from the expert. In other directions, there are promising solutions employing machine learning techniques. However, increasing accuracy requires an increase in system complexity that cannot be endured in many projects. In this work, we approach the web knowledge extraction problem using an expertcentric methodology. This methodology defines a set of configurable, extendible and independent components that permit the reutilisation of large pieces of code among projects. Our methodology differs from similar solutions in its expert-driven design. This design, makes it possible for subject-matter expert to drive the knowledge extraction for a given set of documents. Additionally, we propose the utilization of machine assisted solutions that guide the expert during this process. To demonstrate the capabilities of our methodology, we present a real use case scenario in which public procurement data is extracted from the web-based repositories of several public institutions across Europe. We provide insightful details about the challenges we had to deal with in this use case and additional discussions about how to apply our methodology.

研究动机与目标

• 通过将领域专家置于数据抽取流程的中心，减少网络知识抽取中对开发人员的依赖。
• 解决从非结构化、异构且非标准化的网络来源抽取结构化数据的挑战，尤其是在缺乏API或标准格式的情况下。
• 设计一种可重用、模块化且可扩展的流水线架构，支持多种数据源和目标数据库。
• 与临时性、一次性实现相比，提高可维护性并缩短开发时间。
• 处理现实世界中的复杂性，如多语言内容、数据质量不一致以及公共采购数据中的领域特定术语。

提出的方法

• 该方法采用以专家为中心的循环操作流程，领域专家使用可配置的流水线系统定义数据抽取规则。
• 利用机器辅助的结构分析组件分析HTML并将其转换为XML，通过建议的XPath表达式在标注过程中指导专家。
• 采用基于字典的方法表示数据结构，支持扁平化和分层映射，实现灵活的数据建模。
• MITFORD框架通过声明式配置格式实现从XML到关系型数据库的映射，将数据转换与代码解耦。
• 流水线通过并行处理和依赖关系管理实现，以提升性能和可靠性。
• 在XML和HTML映射层面均进行验证，采用自动化检查和样本文档测试。

实验结果

研究问题

• RQ1 如何使领域专家在无需编程技能的情况下主导网络数据抽取？
• RQ2 机器辅助的结构分析在多大程度上能减少网络抽取中数据标注的手动工作量？
• RQ3 与临时解决方案相比，可重用、模块化的流水线架构是否能显著缩短开发时间并提高可维护性？
• RQ4 所提出的方案在从异构、非标准化且多语言的公共采购来源抽取数据方面效果如何？
• RQ5 当缺乏元数据、API或标准格式时，抽取现实世界网络数据面临的主要挑战是什么？

主要发现

• 以专家为中心的方法使非技术背景的领域专家能够以最少的开发人员参与，配置和管理完整的数据抽取流水线。
• 使用机器辅助的结构分析显著减少了在复杂HTML文档中识别和标注数据字段的时间与工作量。
• 模块化、可重用的组件显著缩短了开发时间，并提高了在多个数据源上的代码可维护性。
• 该系统成功地从14个格式各异、数据质量不一的欧洲数据源中抽取并规范化了公共采购数据。
• 所生成的数据库每源存储10,000至100,000条记录，平均条目大小在10至50 KB之间，展示了良好的可扩展性。
• 验证结果显示，95%的抽取数据符合预设的结构和语义一致性标准，证实了流水线的可靠性。