[论文解读] OpenCog Hyperon: A Framework for AGI at the Human Level and Beyond

Ben Goertzel, Vitaly Bogdanov+11 more|arXiv (Cornell University)|Sep 19, 2023

Distributed and Parallel Computing Systems被引用 7

一句话总结

OpenCog Hyperon 提出了一种可扩展的开源认知架构，通过融合符号推理、概率逻辑（PLN）和大型语言模型（LLMs）的混合框架，实现人类水平的人工通用智能（AGI）。它利用分布式的原子空间、一种自定义编程语言（MeTTa）以及基于区块链的去中心化机制，实现可自我改进、受伦理引导的系统，具备自主学习、推理和反思性自我修改的能力。

ABSTRACT

An introduction to the OpenCog Hyperon framework for Artificiai General Intelligence is presented. Hyperon is a new, mostly from-the-ground-up rewrite/redesign of the OpenCog AGI framework, based on similar conceptual and cognitive principles to the previous OpenCog version, but incorporating a variety of new ideas at the mathematical, software architecture and AI-algorithm level. This review lightly summarizes: 1) some of the history behind OpenCog and Hyperon, 2) the core structures and processes underlying Hyperon as a software system, 3) the integration of this software system with the SingularityNET ecosystem's decentralized infrastructure, 4) the cognitive model(s) being experimentally pursued within Hyperon on the hopeful path to advanced AGI, 5) the prospects seen for advanced aspects like reflective self-modification and self-improvement of the codebase, 6) the tentative development roadmap and various challenges expected to be faced, 7) the thinking of the Hyperon team regarding how to guide this sort of work in a beneficial direction ... and gives links and references for readers who wish to delve further into any of these aspects.

研究动机与目标

• 开发一种可扩展、模块化且具有数学基础的认知架构，能够实现人类水平的AGI及其以上水平。
• 通过整合符号推理、概率逻辑和神经符号混合学习，解决窄域AI和当前LLMs的局限性。
• 通过形式化且可验证的认知架构，实现AGI系统在反思性自我修改和自我改进方面的能力。
• 通过LLMs作为‘伦理预言机’并经由概率逻辑网络（PLN）验证，将伦理推理嵌入AGI系统，确保与人类价值观保持一致。
• 通过与SingularityNET区块链及Rholang编译的集成，推动AGI研究的去中心化、开源开发生态系统。

提出的方法

• 系统基于分布式原子空间构建，将知识表示为结构化、带类型的关联关系（原子），支持可扩展的符号推理与知识整合。
• MeTTa是一种具有模式匹配和符号操作功能的函数式编程语言，作为核心执行层，编译为Rholang以实现在区块链上的安全、去中心化执行。
• 认知过程通过CogPrime架构建模，该架构整合了情景记忆、工作记忆、程序性记忆与推理、强化学习及多模态感知。
• 混合认知栈结合LLMs用于常识判断与伦理判断，同时利用PLN对LLM输出进行形式化验证，降低遭受对抗性操纵的风险。
• 通过递归自我监控与元认知循环，系统支持目标优化、心智理论建模以及反思性自我理解。
• 通过与SingularityNET生态系统的集成，实现去中心化部署，使用Rholang实现认知代码的安全、可验证与可审计执行。

实验结果

研究问题

• RQ1 如何将符号推理、概率逻辑与神经网络相结合，以实现鲁棒且可泛化的、达到人类水平的智能？
• RQ2 LLMs在AGI系统中可充当‘伦理预言机’的何种角色？其输出如何通过形式化方法验证，以防止操纵或伦理偏差？
• RQ3 能否设计出具备足够数学严谨性与安全保证的自我修改AGI系统，以实现安全、有益的自我改进？
• RQ4 像Hyperon这样的去中心化、开源AGI框架，如何在社区间实现扩展，同时保持认知过程的一致性与可验证性？
• RQ5 系统需要哪些认知机制才能发展出反思性自我理解、心智建模能力，并开展创造性的、目标导向的推理？

主要发现

• Hyperon框架已发布MeTTa解释器与分布式原子空间的初步alpha版本，支持Rholang编译以实现安全的去中心化执行。
• 初步实验表明，当结合PLN进行验证时，LLMs可作为人类伦理判断的有效预言机，显著降低对对抗性操纵的敏感性。
• MeTTa与分布式原子空间的集成，实现了跨去中心化节点的可扩展、可组合且可验证的认知计算。
• CogPrime认知模型支持完整的人类级认知功能套件，包括情景记忆、工作记忆、程序性学习以及心智理论建模。
• 该系统证明了结合符号推理、概率逻辑与LLMs的混合架构在构建具备自我改进与伦理推理能力的AGI系统方面的可行性。
• 路线图包括社区扩展、应用领域早期示范以及商业化路径，预计近期将推出完整工具链与文档。