[论文解读] TabVec: Table Vectors for Classification of Web Tables

Majid Ghasemi-Gol, Pedro Szekely|arXiv (Cornell University)|Feb 17, 2018

Data Quality and Management参考文献 10被引用 14

一句话总结

TabVec 是一种无监督方法，通过使用领域特定的词上下文定义和结构特征，将网页表格嵌入向量空间，从而实现对表格类型（如关系型、实体型、矩阵型、列表型、非数据型）的高精度分类，且用户干预极少。与最先进系统相比，其 F1 微分值提升超过 20%，尤其在缺乏现有知识库或标注数据的低资源领域表现更优。

ABSTRACT

There are hundreds of millions of tables in Web pages that contain useful information for many applications. Leveraging data within these tables is difficult because of the wide variety of structures, formats and data encoded in these tables. TabVec is an unsupervised method to embed tables into a vector space to support classification of tables into categories (entity, relational, matrix, list, and non-data) with minimal user intervention. TabVec deploys syntax and semantics of table cells, and embeds the structure of tables in a table vector space. This enables superior classification of tables even in the absence of domain annotations. Our evaluations in four real world domains show that TabVec improves classification accuracy by more than 20% compared to three state of the art systems, and that those systems require significant in domain training to achieve good results.

研究动机与目标

• 解决在缺乏领域特定知识库或标注训练数据的情况下，对网页表格进行结构类型（如关系型、矩阵型、列表型）分类的挑战。
• 开发一种无监督方法，利用表格单元格的句法和语义特征及其结构布局，生成有意义的表格向量。
• 减少对专家标注或预先存在的知识库的依赖，这些资源在人类贩卖或证券欺诈等专业领域往往不可用或成本高昂。
• 通过允许用户以最少的努力标注相似表格的聚类，实现可扩展的、交互式的分类。

提出的方法

• 在表格数据上训练词向量空间模型，使用四种不同的词上下文定义：周边文本、单元格文本、标题单元格和相邻单元格。
• 使用学习得到的词向量空间将每个表格单元格表示为向量，以捕捉其语义和句法特征。
• 通过加权平均聚合单元格向量来计算表格向量，强调结构元素（如标题和相邻单元格）的重要性。
• 利用生成的表格向量在特定领域内基于结构相似性对表格进行聚类。
• 允许用户标注聚类以分配表格类型（如关系型、实体型），从而实现低资源、交互式的分类。
• 通过将表格向量作为分类模型的输入特征，同时支持无监督聚类和有监督微调。

实验结果

研究问题

• RQ1 表格中不同的词上下文定义（如周边文本、相邻单元格）如何影响学习得到的词向量空间质量以及下游表格分类性能？
• RQ2 编码结构特征（如标题、布局）的表格向量是否能相比仅依赖内容或外部知识库的方法，提升分类准确率？
• RQ3 在缺乏领域特定标注的情况下，TabVec 能在多大程度上实现高性能的分类，特别是在低资源或非典型领域？
• RQ4 在无监督和有监督设置下，TabVec 的性能与最先进系统（如 DWTC、webcommons 和 TabNet）相比如何？
• RQ5 表格向量空间能否有效按结构类型聚类表格？用户能否以最少的努力标注这些聚类，从而实现高精度分类？

主要发现

• 在缺乏领域标注的情况下，TabVec 在四个真实世界领域中，相较于三种最先进系统，平均 F1 微分值提升 0.40。
• 当无领域特定训练数据时，TabVec 在所有四个领域中均优于第二好的系统 DWTC。
• 该方法显著减少了对用户标注的需求：仅需少量聚类标签即可实现高分类准确率。
• TabVec 的性能稳定且可扩展，平均每个表格在 Web Common Crawl 领域的表格向量计算仅需约 1.5ms。
• 在应用有监督微调时，TabVec 的表现与基于特征的 DWTC 竞争相当，但 DWTC 需要更多标注数据才能超越 TabVec。
• 使用多种词向量上下文定义（如相邻单元格、标题单元格）可生成比单一定义更鲁棒的表格向量表示。