[论文解读] SymbolicAI: A framework for logic-based approaches combining generative models and solvers

Marius-Constantin Dinu, Claudiu Leoveanu-Condrei+3 more|arXiv (Cornell University)|Feb 1, 2024

Semantic Web and Ontologies被引用 6

一句话总结

SymbolicAI 提出一个模块化的神经符号框架，使用 LLMs 作为语义解析器来编排求解器并构建组成式计算图，背后有一个 VERTEX 质量分数和一个基准。

ABSTRACT

We introduce SymbolicAI, a versatile and modular framework employing a logic-based approach to concept learning and flow management in generative processes. SymbolicAI enables the seamless integration of generative models with a diverse range of solvers by treating large language models (LLMs) as semantic parsers that execute tasks based on both natural and formal language instructions, thus bridging the gap between symbolic reasoning and generative AI. We leverage probabilistic programming principles to tackle complex tasks, and utilize differentiable and classical programming paradigms with their respective strengths. The framework introduces a set of polymorphic, compositional, and self-referential operations for multi-modal data that connects multi-step generative processes and aligns their outputs with user objectives in complex workflows. As a result, we can transition between the capabilities of various foundation models with in-context learning capabilities and specialized, fine-tuned models or solvers proficient in addressing specific problems. Through these operations based on in-context learning our framework enables the creation and evaluation of explainable computational graphs. Finally, we introduce a quality measure and its empirical score for evaluating these computational graphs, and propose a benchmark that compares various state-of-the-art LLMs across a set of complex workflows. We refer to the empirical score as the "Vector Embedding for Relational Trajectory Evaluation through Cross-similarity", or VERTEX score for short. The framework codebase and benchmark are linked below.

研究动机与目标

• 介绍 SymbolicAI，一个用于概念学习和生成过程中的流程管理的基于逻辑的框架。
• 通过模块化的概率编程方法实现与各种求解器的无缝集成，以便与大型语言模型（LLMs）协同工作。
• 提供用于构建、评估和解释由符号与子符号组件组成的计算图的工具。
• 提出一个质量度量（VERTEX 分数）和一个基准，用于在复杂工作流中比较最先进的 LLMs。

提出的方法

• 将 LLMs 视为执行自然语言和形式语言指令任务的语义解析器。
• 利用概率编程原理将符号表达式与求解器和可微分组件绑定。
• 定义一组多态、组成性和自指操作，用于数据流处理和图构建。
• 支持函数组合以构建耦合符号与子符号过程的分层计算图。
• 实现领域中心语言（DSL）和提示策略，将输入映射到求解器调用，并通过约束来验证输出。
• 提供一个框架和基准发布，附带 SymbolicAI 及其评估套件的代码库。

实验结果

研究问题

• RQ1 如何将 LLMs 用作语义解析器，在统一的 NeSy 框架中编排传统和可微分求解器？
• RQ2 哪些设计原则和数据结构（符号、表达式、DSL）最能支持 SymbolicAI 中鲁棒、可解释的计算图？
• RQ3 质量度量（VERTEX 分数）是否能有效评估跨不同基础模型的多步骤神经符号工作流？

主要发现

• SymbolicAI 实现了在统一框架内在经典编程与可微分编程之间的无缝切换。
• 一个基于 DSL 和符号表示的模块化流水线，用于在求解器引导下组合和评估计算图。
• 该框架引入了一个 VERTEX 分数，一种用于评估多步骤 NeSy 图的经验质量度量。
• 评估比较多种 LLMs 在涉及上下文学习、逻辑翻译和分层图规划的任务中的表现。
• 基准和代码库为研究人员在复杂工作流上测试最先进的 LLMs 提供了实际资源。