[论文解读] Synergistic Integration of Large Language Models and Cognitive Architectures for Robust AI: An Exploratory Analysis

Oscar J. Romero, John Zimmerman+2 more|arXiv (Cornell University)|Aug 18, 2023

Language and cultural evolutionSocial Sciences被引用 3

一句话总结

本文提出了三种集成方法——模块化、代理式和神经符号式——将大型语言模型（LLMs）与认知架构（CAs）结合，以增强人工智能的鲁棒性。通过利用LLMs提取符号知识，CAs实现结构化推理，这些方法减轻了幻觉现象，提升了推理一致性，并通过协同设计实现了可解释、可扩展的AI系统。

ABSTRACT

This paper explores the integration of two AI subdisciplines employed in the development of artificial agents that exhibit intelligent behavior: Large Language Models (LLMs) and Cognitive Architectures (CAs). We present three integration approaches, each grounded in theoretical models and supported by preliminary empirical evidence. The modular approach, which introduces four models with varying degrees of integration, makes use of chain-of-thought prompting, and draws inspiration from augmented LLMs, the Common Model of Cognition, and the simulation theory of cognition. The agency approach, motivated by the Society of Mind theory and the LIDA cognitive architecture, proposes the formation of agent collections that interact at micro and macro cognitive levels, driven by either LLMs or symbolic components. The neuro-symbolic approach, which takes inspiration from the CLARION cognitive architecture, proposes a model where bottom-up learning extracts symbolic representations from an LLM layer and top-down guidance utilizes symbolic representations to direct prompt engineering in the LLM layer. These approaches aim to harness the strengths of both LLMs and CAs, while mitigating their weaknesses, thereby advancing the development of more robust AI systems. We discuss the tradeoffs and challenges associated with each approach.

研究动机与目标

• 解决独立LLM的局限性，如幻觉、推理一致性不足和可解释性差的问题。
• 通过集成LLMs实现动态知识获取，克服CA在知识可扩展性和领域泛化方面的限制。
• 开发混合架构，协同结合LLMs的模式识别能力与CAs的结构化符号推理能力，构建鲁棒AI系统。
• 研究LLMs与CAs如何协同演化，以在复杂环境中支持长期、一致且可解释的决策。
• 提供一种LLM与CA的集成框架，以增强自主智能体在系统韧性、适应性和可信度方面的表现。

提出的方法

• 提出一种模块化方法，包含四个集成层级：从松散耦合（LLM通过CA输出增强）到紧密集成（共享符号-连接主义处理）。
• 采用思维链提示和符号产生规则引导LLM推理，实现复杂任务的逐步分解。
• 引入一种受《心智社会》和LIDA架构启发的代理式方法，多个代理（基于LLM或符号）在微观和宏观层面交互协作。
• 基于CLARION开发一种神经符号方法，利用LLMs从自然语言中提取符号规则，并输入符号推理引擎。
• 利用LLMs生成并优化用于世界建模、规划和记忆管理的符号表示，集成至CA框架中。
• 应用提示工程与自动化程序生成（如PAL）技术，使LLM输出与CA可执行的符号逻辑对齐。

实验结果

研究问题

• RQ1 如何集成LLMs与CAs，以提升AI智能体的推理一致性并减少幻觉？
• RQ2 何种架构配置能有效促进自主系统中连接主义（LLM）与符号主义（CA）处理的协同作用？
• RQ3 LLMs在多大程度上可增强CA的知识表征能力与可扩展性，同时保持可解释性与有界理性？
• RQ4 不同集成层级（模块化、代理式、神经符号式）如何影响系统的鲁棒性、错误传播与规划可靠性？
• RQ5 混合系统能否利用LLMs实现动态世界建模，同时借助CA组件实现深思熟虑、目标导向的规划？

主要发现

• 模块化方法支持渐进式集成，最松散耦合的模型利用CA输出进行上下文学习，但限制了高层推理能力。
• 紧密集成的模块化模型使LLM能够填充本体并生成语法正确的CA产生式规则，从而提升世界建模与符号推理能力。
• 代理式方法通过冗余代理角色与自我反思式角色扮演增强系统韧性，减少推理链中的级联故障。
• 神经符号集成实现了自然语言与符号逻辑之间的双向转换，支持持续的规则泛化与可解释决策。
• 所有方法均减少了对纯提示驱动LLM执行的依赖，符号组件为系统提供了结构与一致性，有效缓解了幻觉问题。
• 尽管具有优势，所有方法仍面临LLM可靠性挑战，包括在规划与知识提取中因幻觉或偏见输出引发的级联故障。