[论文解读] Neurosymbolic Programming for Science

Jennifer J. Sun, Megan Tjandrasuwita+5 more|arXiv (Cornell University)|Oct 10, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出神经符号编程（Neurosymbolic Programming, NP）作为一种框架，通过结合神经网络与符号推理，从科学数据中学习可解释的、可编程的模型，以加速科学发现。该方法在行为分析领域得到验证，展示了NP如何通过领域特定语言、先验知识整合以及符号化输出，实现人工智能与领域专家的协作，支持假设检验与反事实推理。

ABSTRACT

Neurosymbolic Programming (NP) techniques have the potential to accelerate scientific discovery. These models combine neural and symbolic components to learn complex patterns and representations from data, using high-level concepts or known constraints. NP techniques can interface with symbolic domain knowledge from scientists, such as prior knowledge and experimental context, to produce interpretable outputs. We identify opportunities and challenges between current NP models and scientific workflows, with real-world examples from behavior analysis in science: to enable the use of NP broadly for workflows across the natural and social sciences.

研究动机与目标

• 解决创建可解释、具备知识感知能力的AI模型以支持科学发现的挑战，使其符合科学推理原则。
• 弥合神经符号AI与现实世界科学工作流程之间的差距，特别是在数据密集、噪声大的领域，如行为分析。
• 通过将领域专业知识（如实验背景、行为图谱和时空约束）融入程序合成，实现科学家与AI之间的协作。
• 开发可扩展、可复现且交互式的NP流水线，支持自然科学与社会科学中透明的假设生成与验证。
• 识别NP在科学领域评估、基准测试与工具开发中的关键挑战，并倡导建立标准化、社区驱动的基准与用户友好工具。

提出的方法

• 设计针对科学领域（如行为分析）的领域特定语言（DSL），将科学假设表示为可执行程序。
• 将先验科学知识（如已知行为特征、约束与动态）整合到DSL与学习流水线中，以提升数据效率与可解释性。
• 利用神经符号程序合成，从数据中自动发现符号程序，结合神经表示（如姿态追踪）与符号逻辑（如行为规则）。
• 利用可微编程与符号搜索优化程序结构，同时确保输出结果具有人类可读性与可分析性。
• 通过设计可视化与交互式工具（如集成NEAR）实现人机协同，支持专家对学习程序的验证与优化。
• 提出一种多维评估框架，用于评估NP模型，涵盖可复现性、对输入扰动的鲁棒性以及与领域专业知识的一致性。

实验结果

研究问题

• RQ1 神经符号编程如何适应真实世界、数据丰富的领域（如行为分析）中的科学发现？
• RQ2 领域特定知识（如实验背景与已知行为约束）在提升NP模型数据效率与可解释性方面发挥何种作用？
• RQ3 当传统指标不足以衡量时，NP模型应如何实现有意义的评估，特别是针对鲁棒性与可复现性等特性？
• RQ4 需要哪些工具与接口，才能将NP流水线整合到现有科学工作流程中，并促进科学家与AI的协作？
• RQ5 NP在科学领域部署中的主要瓶颈是什么？标准化基准与社区范围的评估协议如何帮助克服这些障碍？

主要发现

• 神经符号编程能够自动发现可解释的符号程序，从复杂的时空数据中建模科学现象（如动物行为）。
• 整合领域专业知识（如已知行为属性与实验约束）可显著提升行为分析中模型的数据效率与可解释性。
• NP模型生成的符号化输出使科学家能够推理假设、执行反事实分析，并将模型行为与现实观测联系起来。
• 将NP整合到科学工作流程中，需要专门的工具来同时可视化原始数据（如视频）与符号化模型输出（如行为分类），从而提升透明度与可用性。
• 主要挑战在于评估NP模型，由于缺乏标准化基准与客观指标（尤其是针对鲁棒性与可复现性），特别是在基于随机搜索的方法中。
• NP的计算成本较高，源于双重计算需求：GPU密集型的神经网络训练与CPU密集型的程序合成，对缺乏可扩展基础设施的研究人员构成进入壁垒。