[论文解读] WS4A: a Biomedical Question and Answering System based on public Web Services and Ontologies

Miguel J. Rodrigues, Miguel Falé+2 more|arXiv (Cornell University)|Sep 27, 2016

Biomedical Text Mining and Ontologies参考文献 13被引用 4

一句话总结

WS4A 是一个生物医学问答系统，利用公开的网络服务和本体论从生物医学查询中提取概念、文献、片段、RDF三元组和答案。通过整合 BioPortal、UniProt、PubChem 和 NCBI eutils，其性能具有竞争力——在两个子任务中获得第二名，证明了在服务可用性和调优时间存在挑战的情况下，基于服务驱动、本体丰富的问答系统仍具可行性。

ABSTRACT

This paper describes our system, dubbed WS4A (Web Services for All), that participated in the fourth edition of the BioASQ challenge (2016). We used WS4A to perform the Question and Answering (QA) task 4b, which consisted on the retrieval of relevant concepts, documents, snippets, RDF triples, exact answers and ideal answers for each given question. The novelty in our approach consists on the maximum exploitation of existing web services in each step of WS4A, such as the annotation of text, and the retrieval of metadata for each annotation. The information retrieved included concept identifiers, ontologies, ancestors, and most importantly, PubMed identifiers. The paper describes the WS4A pipeline and also presents the precision, recall and f-measure values obtained in task 4b. Our system achieved two second places in two subtasks on one of the five batches.

研究动机与目标

• 开发一个可扩展、轻量级的生物医学问答系统，最大限度重用现有的公开网络服务和本体论。
• 通过检索相关概念、文献、片段、RDF三元组和精确/理想答案，应对 BioASQ 2016 挑战任务 4b。
• 评估面向服务的体系结构在生物医学问答中的有效性，强调通过本体论实现语义增强。
• 探索机器学习和语义相似性在抽象相关性评分和答案排序中的影响。
• 证明主要基于外部网络服务构建的系统，即使调优时间有限，也能取得具有竞争力的结果。

提出的方法

• 使用 BioPortal 和 Whatizit 网络服务对查询和摘要进行文本标注，识别与本体论关联的生物医学实体。
• 通过公开网络服务将标注的术语映射到 MeSH、GO、UniProt、Jochem 和 DO 中的概念标识符。
• 利用 PubChem 和 NCBI eutils 服务检索 PubMed ID，将生物概念与相关文献关联。
• 采用语义相似性和支持向量机评估摘要的相关性，并将文档分类为相关或不相关。
• 利用 Linked Life Data SPARQL 端点从排序后的摘要中生成 RDF 三元组，实现结构化知识提取。
• 通过整合所有模块结果的流水线构建答案，重点关注可重用性和模块化。

实验结果

研究问题

• RQ1 一个生物医学问答系统是否能完全依赖公开网络服务和本体论实现具有竞争力的性能？
• RQ2 在支持生物医学端到端问答时，集成多种异构网络服务的效果如何？
• RQ3 语义相似性和机器学习在基于服务的体系结构中，能在多大程度上提升相关文献和片段的排序质量？
• RQ4 当外部网络服务出现间歇性不可用或延迟时，系统性能如何变化？
• RQ5 在调优时间受限的情况下，基于网络服务的问答系统存在哪些实际局限性？

主要发现

• WS4A 在 BioASQ 2016 挑战赛第一轮中，于精确答案和理想答案两个子任务中均获得第二名。
• 系统在所有轮次中的平均 F1 值较低，平均为 0.24，表明其在检索阶段的整体性能有限。
• 尽管在多数轮次中精确率和召回率均较低，系统仍证明了利用公开网络服务实现端到端生物医学问答的可行性。
• 平均每查询响应时间约为 90 秒，延迟主要由缓慢或不可用的网络服务引起。
• 由于外部网络服务随机不可用，系统面临重大挑战，阻碍了结果生成和系统稳定性。
• 由于注册时间较晚，导致调优时间不足，与往年结果相比，性能显著下降。