[论文解读] TableQnA: Answering List Intent Queries With Web Tables

Kaushik Chakrabarti, Zhimin Chen+3 more|arXiv (Cornell University)|Jan 10, 2020

Web Data Mining and Analysis参考文献 30被引用 10

一句话总结

TableQnA 提出了一种新颖的框架，用于通过网页表格回答列表意图和最高级意图的网络查询，利用序列标注进行意图抽取，并结合结构感知匹配，显著提升了基线方法的精确率和覆盖率。该系统实现了最先进性能，并自2016年起在 Microsoft Bing 中投入生产使用。

ABSTRACT

The web contains a vast corpus of HTML tables. They can be used to provide direct answers to many web queries. We focus on answering two classes of queries with those tables: those seeking lists of entities (e.g., `cities in california') and those seeking superlative entities (e.g., `largest city in california'). The main challenge is to achieve high precision with significant coverage. Existing approaches train machine learning models to select the answer from the candidates; they rely on textual match features between the query and the content of the table along with features capturing table quality/importance. These features alone are inadequate for achieving the above goals. Our main insight is that we can improve precision by (i) first extracting intent (structured information) from the query for the above query classes and (ii) then performing structure-aware matching (instead of just textual matching) between the extracted intent and the candidates to select the answer. We model (i) as a sequence tagging task. We leverage state-of-the-art deep neural network models with word embeddings. The model requires large scale training data which is expensive to obtain via manual labeling; we therefore develop a novel method to automatically generate the training data. For (ii), we develop novel features to compute structure-aware match and train a machine learning model. Our experiments on real-life web search queries show that (i) our intent extractor for list and superlative intent queries has significantly higher precision and coverage compared with baseline approaches and (ii) our table answer selector significantly outperforms the state-of-the-art baseline approach. This technology has been used in production by Microsoft's Bing search engine since 2016.

研究动机与目标

• 解决使用网页表格以高精确率和广泛覆盖率回答列表意图和最高级意图查询的挑战。
• 克服现有方法仅依赖文本匹配和表格质量特征的局限性。
• 开发一种意图感知框架，在匹配候选表格之前，首先抽取结构化查询意图。
• 设计一种可扩展的自动化方法，用于生成意图抽取的训练数据，以应对人工标注的高昂成本。
• 设计新颖的结构感知匹配特征，其在预测正确表格答案方面的表现优于传统文本匹配特征。

提出的方法

• 将意图抽取建模为序列标注任务，采用深度神经网络与词嵌入，基于自动生成的合成数据进行训练，以克服标注成本问题。
• 开发新颖的结构感知匹配特征，用于比较查询意图的结构语义（例如，实体类型、过滤条件、排序标准）与表格模式及内容。
• 使用机器学习分类器从候选表格中选择最佳答案，结合文本特征与结构感知特征。
• 通过基于规则和神经启发式的方法合成查询-表格对，自动生成大规模意图标注训练数据。
• 通过阈值化将非布尔特征转换为二元特征，以提升与统计建模和相关性分析的兼容性。
• 使用特征值与真实标签之间的相关性分析评估特征相关性，结果表明结构感知特征的相关性是文本特征的三倍。

实验结果

研究问题

• RQ1 与基线方法相比，通过序列标注进行意图抽取是否能显著提升列表意图和最高级意图查询的精确率和覆盖率？
• RQ2 结构感知匹配特征是否能在选择准确表格答案方面优于传统文本匹配特征？
• RQ3 是否可行通过合成数据生成，在无需昂贵人工标注的情况下训练出高精确率的意图抽取器？
• RQ4 结构感知特征与文本匹配特征相比，在预测正确表格答案方面表现如何？
• RQ5 统一框架是否能有效使用相同核心组件同时处理列表意图和最高级意图查询？

主要发现

• 所提出的意图抽取器在列表意图和最高级意图查询上，显著优于基线方法，精确率和覆盖率均更高。
• 结构感知匹配特征与真实标签的相关性为 0.21，是文本匹配特征相关性（0.0698）的三倍。
• 表格答案选择器在真实网络搜索查询上的精确率和召回率均优于最先进基线方法。
• 该系统自 2016 年起成功部署于 Microsoft Bing，证明了其在大规模网络搜索中的生产可行性。
• 使用自动生成的训练数据可实现高质量的意图建模，且无需依赖昂贵的人工标注。
• 该框架在统一架构下有效处理了列表意图和最高级意图查询，展现出广泛的适用性。