[论文解读] Scientific Table Search Using Keyword Queries

Kyle Yingkai Gao, Jamie Callan|arXiv (Cornell University)|Jul 11, 2017

Advanced Text Analysis Techniques参考文献 4被引用 5

一句话总结

本文提出 MaitreD，一种用于科学表格检索的概率框架，通过实体抽取、数量类型推断和基于单位的查询扩展来增强关键词查询。通过将表格建模为结构化对象，并整合语义、结构和数值质量信号，MaitreD 在新数据集 TableArXiv 上的排名准确率显著优于基线方法，尤其在单个词查询和语义模糊查询中表现更优。

ABSTRACT

Tables are common and important in scientific documents, yet most text-based document search systems do not capture structures and semantics specific to tables. How to bridge different types of mismatch between keywords queries and scientific tables and what influences ranking quality needs to be carefully investigated. This paper considers the structure of tables and gives different emphasis to table components. On the query side, thanks to external knowledge such as knowledge bases and ontologies, key concepts are extracted and used to build structured queries, and target quantity types are identified and used to expand original queries. A probabilistic framework is proposed to incorporate structural and semantic information from both query and table sides. We also construct and release TableArXiv, a high quality dataset with 105 queries and corresponding relevance judgements for scientific table search. Experiments demonstrate significantly higher accuracy overall and at the top of the rankings than several baseline methods.

研究动机与目标

• 解决将非结构化关键词查询与科学表格匹配的挑战，此类匹配常因文本、结构和语义不匹配而受阻。
• 通过将表格建模为包含多个组件（表头、单元格、上下文）的结构化对象，并为查询-表格匹配分配差异化权重，提升表格检索的准确性。
• 开发一种灵活的概率检索框架，整合语义、结构和数值质量信号，以实现更优的排序效果。
• 构建并发布 TableArXiv，一个高质量数据集，包含 105 个查询、相关性判断和查询意图标注，支持科学表格检索领域的可复现研究。
• 评估使用本体（如 QUDT）进行查询扩展以及数值质量先验在提升检索性能方面的有效性。

提出的方法

• 利用外部知识库和本体从关键词查询中提取关键概念，生成结构化查询。
• 通过 QUDT 本体中标准化的单位，识别并扩展查询中的推断数量类型（如质量、长度）。
• 将表格表示为具有独立组件（表头、数据单元格、文档上下文）的结构化对象，每类组件分配不同的匹配权重。
• 整合一个数值表格质量先验，通过偏向包含数值的表格来提升性能，尤其在物理学等领域表现更优。
• 采用概率检索模型，结合查询组件、表格组件和质量信号的证据，兼容 Indri 检索引擎。
• 通过网格搜索和交叉验证调优模型参数，确保在多种查询类型下的鲁棒性。

实验结果

研究问题

• RQ1 如何有效将非结构化关键词查询转化为更匹配科学表格的结构化查询？
• RQ2 与标准词袋方法相比，实体抽取和数量类型推断在多大程度上提升了表格检索的准确性？
• RQ3 不同表格组件（如表头、数据单元格、上下文）在有效匹配中起到何种作用，应如何分配权重？
• RQ4 数值质量先验对排序性能有何影响，特别是在查询未明确表达数值意图时？
• RQ5 使用标准化单位（如来自 QUDT 的单位）进行查询扩展，能否克服查询与表格内容之间的语义不匹配？

主要发现

• 在 TableArXiv 数据集上，MaitreD 显著优于四种标准文档检索算法和一种表格专用基线方法，在整体排名准确率上表现更优。
• 数值表格质量先验显著提升了准确率和一致性，尤其在未明确指示数量类型的查询中表现突出，证实了在物理学领域用户常寻求数值数据，即使未明确说明。
• 基于 QUDT 的单位进行查询扩展带来了高风险、高回报的结果：平均而言收益超过损失，尽管部分通用或缩写术语（如 'lb'、'N'）导致不精确匹配。
• 基于实体的查询概念略优于基于名词短语的方法，但差异微小，表明两者在概念抽取中均具可行性。
• 该框架在单个词查询上也表现出色，这类查询是表格检索系统中最具挑战性的场景。
• TableArXiv 的发布（包含 105 个查询、相关性判断和查询意图标注）为未来科学表格检索领域的意图感知和可复现研究提供了支持。