[论文解读] On the Potential of Artificial Intelligence Chatbots for Data Exploration of Federated Bioinformatics Knowledge Graphs

Ana-Claudia Sima, Tarcisio Mendes de Farias|arXiv (Cornell University)|Apr 20, 2023

FinTech, Crowdfunding, Digital Finance被引用 4

一句话总结

本文探讨了使用大型语言模型聊天机器人（如ChatGPT）在联邦生物信息学知识图谱中实现基于自然语言的数据探索。结果表明，此类模型能够总结数据集、解释SPARQL查询，并从自然语言生成联邦查询，但存在显著局限性，包括幻觉现象和推理不一致。

ABSTRACT

In this paper, we present work in progress on the role of artificial intelligence (AI) chatbots, such as ChatGPT, in facilitating data access to federated knowledge graphs. In particular, we provide examples from the field of bioinformatics, to illustrate the potential use of Conversational AI to describe datasets, as well as generate and explain (federated) queries across datasets for the benefit of domain experts.

研究动机与目标

• 探究对话式AI模型是否可通过将自然语言问题转换为SPARQL查询，改善对联邦生物信息学知识图谱的访问。
• 评估AI聊天机器人在总结数据集内容方面的作用，以提升领域专家对数据的可发现性和可重用性。
• 评估聊天机器人在多个公开生物信息学数据库中解释并生成正确联邦SPARQL查询的能力。
• 识别当前基于LLM的方法在科学数据探索场景中的关键局限性，尤其是幻觉现象和缺乏可复现性。

提出的方法

• 使用基于GPT-4的ChatGPT（2023年3月免费研究版）生成自然语言输入对应的数据描述、解释和SPARQL查询。
• 聚焦于三个公开的生物信息学知识图谱：UniProt、OMA和Bgee，它们均支持SPARQL端点，并属于SIB的联邦数据生态系统。
• 通过与官方文档及NCBI和EBI等权威来源的已知正确答案对比，评估聊天机器人输出的准确性。
• 通过在真实端点上测试生成的联邦SPARQL查询的正确性和性能，评估查询生成效果。
• 探索输入表述方式和上下文对输出一致性的影响，包括重复查询时出现的非确定性响应。
• 通过提出“如何”类问题追踪事实性声明的来源，评估模型解释的可靠性。

实验结果

研究问题

• RQ1 AI聊天机器人（如ChatGPT）能否以提升数据可发现性的方式，有效总结公开生物信息学知识图谱的内容？
• RQ2 在联邦查询背景下，聊天机器人在多大程度上能准确解释现有SPARQL查询？
• RQ3 聊天机器人能否从自然语言问题中生成正确且高效的联邦SPARQL查询，覆盖多个生物信息学知识图谱？
• RQ4 幻觉现象和不一致的推理如何影响聊天机器人生成答案在科学数据探索中的可靠性？
• RQ5 基于LLM的聊天机器人在科学数据访问中存在哪些实际限制，特别是可复现性和查询性能方面？

主要发现

• ChatGPT成功生成了UniProt、OMA和Bgee数据库的高层次、易懂的摘要，通过自然语言访问提升了数据可发现性。
• 该模型为现有SPARQL查询提供了合理解释，帮助用户理解复杂的联邦查询结构。
• ChatGPT能够从自然语言问题生成语法正确的联邦SPARQL查询，展示了无需手动编写即可直接访问数据的潜力。
• 尽管语法正确，部分生成的查询在语义上存在错误或效率低下，可能导致因查询规划不佳而引发服务器超时。
• 该模型表现出幻觉现象，例如错误声称*Colocasia esculenta*的分类学ID为4472，尽管其解释中引用了正确的来源（NCBI）。
• 对答案的解释往往与最终输出不一致，且重复查询有时会产生不同结果，凸显了非确定性及缺乏调试透明性的问题。