[论文解读] SeMantic AnsweR Type prediction task (SMART) at ISWC 2020 Semantic Web Challenge

Nandana Mihindukulasooriya, Mohnish Dubey+4 more|arXiv (Cornell University)|Dec 1, 2020

Topic Modeling参考文献 10被引用 6

一句话总结

本文在ISWC 2020上提出了SeMantic AnsweR Type预测任务（SMART），这是一个专注于使用DBpedia或Wikidata本体论预测自然语言问题答案类型的挑战。该任务涉及将答案分类为类别（资源、字面量、布尔值），并预测精确的本体类或字面量类型，通过类别准确率和NDCG@k进行类型排序评估，通过细粒度的答案类型预测推动语义问答的发展。

ABSTRACT

Each year the International Semantic Web Conference accepts a set of Semantic Web Challenges to establish competitions that will advance the state of the art solutions in any given problem domain. The SeMantic AnsweR Type prediction task (SMART) was part of ISWC 2020 challenges. Question type and answer type prediction can play a key role in knowledge base question answering systems providing insights that are helpful to generate correct queries or rank the answer candidates. More concretely, given a question in natural language, the task of SMART challenge is, to predict the answer type using a target ontology (e.g., DBpedia or Wikidata).

研究动机与目标

• 通过使用标准化本体论实现对答案类型的精确预测，推动语义问答的发展。
• 建立一个超越“人物”或“日期”等粗粒度类别之外的细粒度答案类型分类基准。
• 通过共享挑战框架和标准化数据集，支持监督和无监督方法。
• 通过准确的答案类型预测，改进知识库问答系统中的查询生成和答案排序。
• 提供公开可获取的数据集和评估工具，以促进可复现性及社区范围内的进展。

提出的方法

• 该任务要求预测答案类别（资源、字面量、布尔值）以及DBpedia或Wikidata本体论中的对应答案类型。
• 对于资源类答案，系统需预测一个本体类的排序列表；对于字面量，其类型为“数字”、“日期”或“字符串”之一。
• 训练数据通过分析现有KBQA基准（QALD-9、LC-QuAD v1.0、v2.0）的SPARQL查询结果，并经人工验证答案类型构建而成。
• 评估使用类别准确率进行分类任务，以及使用线性衰减的NDCG@k进行排序类型预测。
• 参赛者将获得开发集和验证集，最终评分使用官方评估脚本。
• 数据集被划分为训练集和测试集，DBpedia包含21,964个问题，Wikidata包含22,822个问题，涵盖多样化的题目类型。

实验结果

研究问题

• RQ1 使用DBpedia和Wikidata进行细粒度答案类型预测，能否提高知识库问答系统的准确性？
• RQ2 不同方法——基于规则、神经网络或无监督方法——在预测自然语言问题答案类型方面的有效性如何？
• RQ3 与粗粒度类别相比，使用本体类是否能显著提升答案类型分类的性能？
• RQ4 模型在KBQA数据集中多样化的题目模板和改写形式上的泛化能力如何？
• RQ5 排名质量（以NDCG@k衡量）对答案类型预测系统整体性能的影响有多大？

主要发现

• SMART挑战提供了一个包含44,762个问题的基准，其中DBpedia有21,964个，Wikidata有22,822个，涵盖多样化的题目类型。
• 训练数据包含17,571个DBpedia问题和18,251个Wikidata问题，测试集分别包含4,393个和4,571个问题。
• 数据集构建过程包括SPARQL查询分析和人工验证，以确保答案类型的黄金标准。
• 评估框架使用类别准确率和线性衰减的NDCG@k，支持对系统性能的稳健比较。
• 该挑战支持监督和无监督方法，拓宽了方法论创新的范围。
• 数据集和评估脚本可在https://github.com/smart-task/smart-dataset公开获取，促进可复现性和社区参与。