[论文解读] Unifying Computing and Cognition: The SP Theory and its Applications

J. Gerard Wolff|ArXiv.org|Jan 13, 2004

Computability, Logic, AI Algorithms参考文献 224被引用 19

一句话总结

本文提出SP（球面感知，Spherical Perception）理论作为计算与认知的统一框架，整合了信息压缩、多重对齐和概率推理。研究表明，SP框架通过最小化信息冗余，能够支持多种认知任务——如自然语言处理、诊断、规划和学习，其计算复杂度在串行处理中为O(n·m)，在并行环境中为O(n)。

ABSTRACT

This book develops the conjecture that all kinds of information processing in computers and in brains may usefully be understood as "information compression by multiple alignment, unification and search". This "SP theory", which has been under development since 1987, provides a unified view of such things as the workings of a universal Turing machine, the nature of 'knowledge', the interpretation and production of natural language, pattern recognition and best-match information retrieval, several kinds of probabilistic reasoning, planning and problem solving, unsupervised learning, and a range of concepts in mathematics and logic. The theory also provides a basis for the design of an 'SP' computer with several potential advantages compared with traditional digital computers.

研究动机与目标

• 开发一个统一的计算与认知理论，整合信息压缩、模式识别与推理。
• 解决现有模型在处理认知任务中模糊性、冗余性和不确定性方面的局限性。
• 证明SP理论在自然语言处理、医学诊断和无监督学习等多样化领域中的适用性。
• 建立一个基于信息论与概率的正式且计算高效的框架。
• 通过SP理论的视角，探索神经合理性以及对物理概念的潜在重新诠释。

提出的方法

• 通过符号结构的多重对齐表示知识并执行推理，以最小化信息冗余。
• 将信息压缩作为统一原则：更短、更压缩的表示更受青睐，符合奥卡姆剃刀原则。
• 基于压缩效率对对齐进行概率评估，概率由压缩程度决定。
• 使用支持串行与并行处理的计算模型（SP61），串行处理时间复杂度为O(n·m)，并行处理为O(n)。
• 通过多重对齐整合语法与语义处理，实现自然语言中结构与意义组件的对齐。
• 通过提出大脑中对齐、学习与表征的生物合理过程，将框架应用于神经机制。

实验结果

研究问题

• RQ1 信息压缩如何作为计算与认知的统一原则？
• RQ2 多重对齐与基于压缩的推理能否再现语言理解与诊断等核心认知过程？
• RQ3 SP框架在串行与并行处理环境中的计算复杂度如何？
• RQ4 SP理论如何在不依赖贝叶斯网络的情况下支持非单调推理、溯因推理与因果诊断？
• RQ5 哪些神经机制可能支撑SP框架中对齐、学习与表征的过程？

主要发现

• SP框架在串行处理中实现O(n·m)的时间复杂度，在并行处理中为O(n)，实证结果支持实际中的线性扩展。
• 通过多重对齐，模型成功处理了模糊的语言结构，如法语句法依赖关系和英语助动词结构。
• 基于压缩的对齐有效建模了医学诊断与最佳匹配信息检索，部分-整体关系与继承关系得以自然编码。
• 通过基于压缩的评估，支持了溯因推理与非单调推理，为贝叶斯网络提供了替代方案。
• SP系统在无监督学习（SP70）中表现出鲁棒性，评估显示其在自然语言数据中有效发现模式。
• 提出了对齐与学习的神经机制作为生物合理解释，将符号处理与脑功能联系起来。