[论文解读] Uni-SMART: Universal Science Multimodal Analysis and Research Transformer

Hengxing Cai, Xiaochen Cai+15 more|arXiv (Cornell University)|Mar 15, 2024

Digital Storytelling and Education被引用 5

一句话总结

Uni-SMART 是一个用于科学文献的多模态模型，能够处理文本、表格、图表、分子结构和化学反应，在若干多模态任务中优于以文本为中心的 LLM，并且能够实现如专利侵权分析和图表解读等应用。

ABSTRACT

In scientific research and its application, scientific literature analysis is crucial as it allows researchers to build on the work of others. However, the fast growth of scientific knowledge has led to a massive increase in scholarly articles, making in-depth literature analysis increasingly challenging and time-consuming. The emergence of Large Language Models (LLMs) has offered a new way to address this challenge. Known for their strong abilities in summarizing texts, LLMs are seen as a potential tool to improve the analysis of scientific literature. However, existing LLMs have their own limits. Scientific literature often includes a wide range of multimodal elements, such as tables, charts, and molecule, which are hard for text-focused LLMs to understand and analyze. This issue points to the urgent need for new solutions that can fully understand and analyze multimodal content in scientific literature. To answer this demand, we present extbf{Uni-SMART} (Universal Science Multimodal Analysis and Research Transformer), an innovative model designed for in-depth understanding of multimodal scientific literature. Through rigorous quantitative evaluation across several domains, Uni-SMART demonstrates superior performance over other text-focused LLMs. Furthermore, our exploration extends to practical applications, including patent infringement detection and nuanced analysis of charts. These applications not only highlight Uni-SMART's adaptability but also its potential to revolutionize how we interact with scientific literature.

研究动机与目标

• 应对超越文本型 LLM 的多模态科学文献分析挑战。
• 开发能够解读表格、图表、分子结构和化学反应的模型。
• 在多样的科学模态下评估 Uni-SMART 相对于领先 LLM 的表现。
• 展示如专利侵权分析和图表解读等实际应用。

提出的方法

• 结合多模态学习、监督微调、用户反馈、专家标注和数据增强的循环迭代训练流程。
• 训练数据来自专利、新闻、科学出版物和市场报告，以覆盖多样的模态。
• 输出序列将文本信息与多模态信息整合用于 LLM 微调。
• 利用专家标注纠正负反馈并丰富训练数据集。
• 评估基准（SciAssess）涵盖表格、图表、分子和反应，以与 GPT-4、GPT-3.5 和 Gemini 进行比较。

实验结果

研究问题

• RQ1 Uni-SMART 在跨领域的科学表格中理解和提取信息的能力有多强？
• RQ2 Uni-SMART 是否能够准确解读图表并提取科学文献中的趋势？
• RQ3 Uni-SMART 在多模态文档中对分子结构和化学反应的理解有多有效？
• RQ4 在多项任务的多模态科学文献分析中，Uni-SMART 是否超越以文本为中心的 LLM？
• RQ5 在真实世界的科学工作流程中，Uni-SMART 的实际应用与局限性是什么？

主要发现

• Uni-SMART 在若干任务中显示出对表格的优越理解，Electrolyte Table QA (0.674) 和 Polymer Property Extraction (0.869) 的 Value Recall 得分尤其突出。
• 在图表任务中，Uni-SMART 在多个领域超越 GPT-4、GPT-3.5 和 Gemini，特别是在 Alloy Materials (0.667) 和 Organic Materials (0.733)。
• 在分子结构方面，Uni-SMART 在 Tag to Molecule (0.275 mean similarity) 和 Markush to Molecule (0.629 mean similarity) 方面表现出色。
• 在化学反应方面，Uni-SMART 在任务特定的问答中的准确性更高（如 Drug Discovery 的 Reaction QA: 0.400; Organic Materials 的 Reaction Mechanism QA: 0.445）。
• 总体结果表明，Uni-SMART 相较于以文本为中心的 LLM 在多模态科学文献分析方面具有显著提升，并能够实现如专利侵权分析和图表解读等实际应用。