[论文解读] The TechQA Dataset

Vittorio Castelli, Rishav Chakravarti+19 more|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 14被引用 4

一句话总结

TechQA 是一个领域自适应问答数据集，包含从 IBM 技术论坛中真实用户提问中提取的 600 个训练、310 个开发和 490 个评估的问答对，并与官方 IBM Technote 文档中的已接受答案配对。该数据集通过提供真实世界的技术支持查询以及一个包含 801,998 篇公开可用的 Technote 的配套集合，支持领域自适应研究。

ABSTRACT

We introduce TechQA, a domain-adaptation question answering dataset for the technical support domain. The TechQA corpus highlights two real-world issues from the automated customer support domain. First, it contains actual questions posed by users on a technical forum, rather than questions generated specifically for a competition or a task. Second, it has a real-world size -- 600 training, 310 dev, and 490 evaluation question/answer pairs -- thus reflecting the cost of creating large labeled datasets with actual data. Consequently, TechQA is meant to stimulate research in domain adaptation rather than being a resource to build QA systems from scratch. The dataset was obtained by crawling the IBM Developer and IBM DeveloperWorks forums for questions with accepted answers that appear in a published IBM Technote---a technical document that addresses a specific technical issue. We also release a collection of the 801,998 publicly available Technotes as of April 4, 2019 as a companion resource that might be used for pretraining, to learn representations of the IT domain language.

研究动机与目标

• 为领域自适应研究解决技术支援领域缺乏真实、大规模标注数据集的问题。
• 提供一个反映真实世界用户查询和生产级技术文档的数据集，而非合成或竞赛专用的问题。
• 支持将自然语言处理模型适应到 IT 支援情境中的专业语言和信息需求。
• 发布一个包含 801,998 篇公开可用的 IBM Technotes 的配套语料库，用于预训练和学习领域特定表征。

提出的方法

• 爬取 IBM Developer 和 IBM DeveloperWorks 论坛，收集与官方 IBM Technote 文档链接的已接受答案的问题。
• 仅选择与公开可用的 IBM Technotes 对应的问题，以确保事实准确性与领域相关性。
• 将最终数据集整理为 600 个训练集、310 个开发集和 490 个评估集，以反映真实世界的数据收集成本与规模。
• 将 801,998 篇可用的 Technote 作为配套资源发布，以支持预训练和学习 IT 领域语言表征。
• 使用该数据集评估领域自适应技术，而非从零开始构建问答系统。
• 聚焦真实用户问题和生产级文档，以确保真实性和实际相关性。

实验结果

研究问题

• RQ1 当应用于技术支援论坛中的真实用户问题时，领域自适应技术的有效性如何？
• RQ2 在配套 Technote 语料库上进行预训练，能在多大程度上提升在 TechQA 数据集上的性能？
• RQ3 在 TechQA 上微调的模型与在通用领域问答数据集上训练的模型相比，在技术支援领域中的表现如何？
• RQ4 使用真实世界、生产级别的文档（Technotes）对技术问答中的模型泛化能力有何影响？
• RQ5 在 TechQA 上训练的模型能否泛化到所提供的划分之外的未见技术支援查询？

主要发现

• TechQA 数据集包含 600 个训练集、310 个开发集和 490 个评估集，反映了真实世界的数据收集成本与规模。
• 该数据集源自 IBM 论坛中的实际用户提问，且与官方 IBM Technote 文档相关联，确保了事实准确性与真实世界相关性。
• 发布了包含 801,998 篇公开可用的 IBM Technotes 的配套语料库，以支持预训练和领域表征学习。
• 该数据集明确设计用于激发领域自适应研究，而非作为从零开始训练问答系统的一站式资源。
• 包含真实技术文档（Technotes）使得对 IT 领域语言和专业技术推理的建模更加准确。
• 该数据集支持在真实技术支援环境中评估模型，强调了领域特定知识和自然语言理解的重要性。