[论文解读] Solutions to problems with deep learning

J. Gerard Wolff|arXiv (Cornell University)|Jan 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 19被引用 7

一句话总结

本文提出了智能的SP（结构-模式）理论，作为解决深度学习关键局限性的方案，如数据饥渴、缺乏透明度、灾难性遗忘以及推理能力差等问题。通过利用SP-多重对齐机制，SP系统实现了单次试错学习、分层与非分层知识表征、稳健推理以及可审计性，提供了一个理论基础坚实、受人类认知启发的替代方案，为人工通用智能奠定了更强基础。

ABSTRACT

Despite the several successes of deep learning systems, there are concerns about their limitations, discussed most recently by Gary Marcus. This paper discusses Marcus's concerns and some others, together with solutions to several of these problems provided by the "P theory of intelligence" and its realisation in the "SP computer model". The main advantages of the SP system are: relatively small requirements for data and the ability to learn from a single experience; the ability to model both hierarchical and non-hierarchical structures; strengths in several kinds of reasoning, including `commonsense' reasoning; transparency in the representation of knowledge, and the provision of an audit trail for all processing; the likelihood that the SP system could not be fooled into bizarre or eccentric recognition of stimuli, as deep learning systems can be; the SP system provides a robust solution to the problem of `catastrophic forgetting' in deep learning systems; the SP system provides a theoretically-coherent solution to the problems of correcting over- and under-generalisations in learning, and learning correct structures despite errors in data; unlike most research on deep learning, the SP programme of research draws extensively on research on human learning, perception, and cognition; and the SP programme of research has an overarching theory, supported by evidence, something that is largely missing from research on deep learning. In general, the SP system provides a much firmer foundation than deep learning for the development of artificial general intelligence.

研究动机与目标

• 解决深度学习的关键局限，包括过度依赖数据、缺乏透明度以及易受灾难性遗忘影响的问题。
• 提供一个统一框架，支持分层与非分层知识表征，克服深度学习在架构上的限制。
• 通过基于一致理论结构的知识表征，实现稳健、可解释的推理，包括常识推理。
• 通过SP-多重对齐实现的信息压缩理论，将符号与非符号AI整合为一体，弥合二者之间的鸿沟。
• 构建一个基于实证与认知基础的人工通用智能（AGI）基础，与深度学习的临时性、纯数学驱动方法形成对比。

提出的方法

• 以SP-多重对齐为核心机制，压缩并整合多样化模式，实现对复杂结构的高效学习与表征。
• 实现SP计算机模型，模拟人类在极少数据下学习的能力，包括单次暴露学习与渐进技能习得。
• 利用SP系统透明的知识表征与审计追踪，确保所有处理步骤的可解释性与可追溯性。
• 借鉴认知心理学与神经科学原理，建模抽象知识结构如何映射至神经实现。
• 通过基于SP理论的理论一致机制纠正过度与不足泛化，而非依赖启发式或临时性调整。
• 通过依赖结构一致性与模式对齐，而非统计相关性，实现对对抗性误分类的强抵抗能力。

实验结果

研究问题

• RQ1 人工智能系统如何在极少数据（如单次暴露）下实现有效学习，而无需成千上万的示例？
• RQ2 认知架构在多大程度上能在统一框架内支持分层与非分层知识结构？
• RQ3 学习系统能否在学习新信息的同时保持已有知识，避免灾难性遗忘？
• RQ4 系统如何在不单纯依赖统计模式的前提下，实现稳健、可解释的推理，包括常识推理？
• RQ5 能否基于单一、经实证支持的理论原则，构建统一学习、感知与认知的理论模型？

主要发现

• SP系统能够实现从单次暴露或少量示例中的有意义学习，与人类的单次试错学习高度一致，克服了深度学习对大量数据的依赖。
• SP系统通过SP-多重对齐机制成功表征了分层与非分层结构，克服了深度神经网络的一项关键局限。
• SP系统在知识表征与处理方面具有完全透明性，拥有完整的审计追踪，与深度学习模型的黑箱特性形成鲜明对比。
• SP系统对对抗性误分类具有高度抵抗力，因其结构对齐机制可防止深度学习中常见的荒谬或异常识别错误。
• SP系统避免了灾难性遗忘，因为新学习不会覆盖或破坏已有知识，从而保留了先前获取的信息。
• SP系统基于其核心压缩原理，为纠正过度与不足泛化以及从噪声或错误数据中学习，提供了理论一致的解决方案。