[论文解读] SciDaSynth: Interactive Structured Data Extraction from Scientific Literature with Large Language Model

Xingbo Wang, Samantha L Huey+3 more|arXiv (Cornell University)|Apr 21, 2024

Topic Modeling被引用 5

一句话总结

SciDaSynth 是一个交互式系统，使用检索增强的大型语言模型从科学论文中提取和结构化数据，生成带有可编辑表格和可视化摘要的结果，便于研究人员进行迭代验证和改进。

ABSTRACT

The explosion of scientific literature has made the efficient and accurate extraction of structured data a critical component for advancing scientific knowledge and supporting evidence-based decision-making. However, existing tools often struggle to extract and structure multimodal, varied, and inconsistent information across documents into standardized formats. We introduce SciDaSynth, a novel interactive system powered by large language models (LLMs) that automatically generates structured data tables according to users' queries by integrating information from diverse sources, including text, tables, and figures. Furthermore, SciDaSynth supports efficient table data validation and refinement, featuring multi-faceted visual summaries and semantic grouping capabilities to resolve cross-document data inconsistencies. A within-subjects study with nutrition and NLP researchers demonstrates SciDaSynth's effectiveness in producing high-quality structured data more efficiently than baseline methods. We discuss design implications for human-AI collaborative systems supporting data extraction tasks. The system code is available at https://github.com/xingbow/SciDaEx

研究动机与目标

• 自动化从大量科学文献中提取和结构化知识。
• 实现灵活的、基于维度的分组与可视化，以揭示论文间数据的变异和不一致。
• 在生成数据与其来源文献之间保持明确的链接，以支持验证与纠正。
• 提供一个交互式、用户友好的界面，支持批量编辑和数据表的迭代改进。
• 通过同题内实验的用户研究评估系统的有效性、效率和可用性。

提出的方法

• 利用 GPT-4-turbo 进行数据表生成，GPT-3.5-turbo 进行数据结构生成和摘要。
• 采用检索增强生成（RAG）框架，将LLM输出基于检索到的论文片段和表格进行绑定。
• 将PDF解析为表格、文本和图像，并将其转换为向量，以便使用 text-embedding-3-small 进行基于相似度的检索。
• 从用户问题中推断数据维度，并将检索到的片段与生成的维度融合以生成数据表和摘要。
• 提供多层级数据探索，使用基于维度的散点图和聚类，以揭示论文之间的变异。
• 支持批量编辑并将数据记录与原始来源链接以进行验证与纠正。

实验结果

研究问题

• RQ1 与基线相比，SciDaSynth 如何影响从科学文献中提取结构化数据的质量和效率？
• RQ2 系统是否能够通过基于维度的探索和可视化有效帮助用户发现论文之间的数据变异和不一致？
• RQ3 集成的验证工作流（将数据链接到来源、突出显示缺失/相关信息）是否提高了提取数据的可信度和准确性？

主要发现

• 参与者在更短时间内能够产出与人为基线相当质量的数据。
• 用户认为好处包括简化的提取工作流、便于定位数据、验证和改进。
• AI 生成的结果需要验证，并意识到潜在不准确性；用户强调存在不确定性并需要基于来源的验证。
• SciDaSynth 支持论文筛选、数据监控、结果解释和共享，作为有前景的使用场景。
• 该研究为数据提取任务中的人机交互提供了设计启示。