[论文解读] On the Principles of Parsimony and Self-Consistency for the Emergence of Intelligence

Yi Ma, Doris Y. Tsao+1 more|arXiv (Cornell University)|Jul 11, 2022

Cell Image Analysis Techniques被引用 7

一句话总结

本文提出简洁性（Parsimony）与自一致性（Self-consistency）作为人工与自然系统中智能涌现的基石原则。它引入了压缩闭环转录（compressive closed-loop transcription）——一种统一且可计算的框架，通过反馈机制整合判别式与生成式建模，实现高效、稳定且自主的学习，同时具备紧凑且可解释的表征。

ABSTRACT

Ten years into the revival of deep networks and artificial intelligence, we propose a theoretical framework that sheds light on understanding deep networks within a bigger picture of Intelligence in general. We introduce two fundamental principles, Parsimony and Self-consistency, that address two fundamental questions regarding Intelligence: what to learn and how to learn, respectively. We believe the two principles are the cornerstones for the emergence of Intelligence, artificial or natural. While these two principles have rich classical roots, we argue that they can be stated anew in entirely measurable and computable ways. More specifically, the two principles lead to an effective and efficient computational framework, compressive closed-loop transcription, that unifies and explains the evolution of modern deep networks and many artificial intelligence practices. While we mainly use modeling of visual data as an example, we believe the two principles will unify understanding of broad families of autonomous intelligent systems and provide a framework for understanding the brain.

研究动机与目标

• 为解决现代深度学习中缺乏原则性、统一化设计的问题，识别支配智能的根本原则。
• 通过基于信息论与控制论的理论框架，解决当前人工智能实践中的低效问题——如模型膨胀、鲁棒性差以及可解释性不足。
• 将判别式与生成式建模统一为单一闭环系统，实现无需外部监督的自主、自我校正学习。
• 提供一种可计算、可度量且可实现的框架，用于构建模仿生物大脑高效性与适应性的智能系统。

提出的方法

• 将简洁性形式化为在保留关键信息的前提下最小化表征规模的原则，其基础为信息论与压缩理论。
• 将自一致性形式化为一种反馈机制：模型能够从其内部表征中重建原始输入，从而确保一致性与可解释性。
• 开发压缩闭环转录：一种两阶段系统，其中编码器 $f(\cdot,\theta)$ 将数据 $\bm{x}$ 映射为紧凑表征 $\bm{z}$，解码器 $g(\cdot,\eta)$ 从 $\bm{z}$ 重建出 $\hat{\bm{x}}$，且 $f$ 与 $g$ 在训练中保持相互一致性。
• 利用反馈回路强制实现自一致性：编码器无法区分原始数据与重建数据，从而实现误差校正与稳定训练。
• 将该框架应用于视觉数据建模，展示结构化、稀疏且模块化的表征如何自然地从这两项原则中涌现。
• 整合神经科学（如稀疏编码与子空间编码）与控制理论（如闭环反馈）的洞见，统一人工智能与生物智能。

实验结果

研究问题

• RQ1 我们如何为智能系统中‘学习什么’定义一个原则性目标，以及如何在计算上对其进行度量？
• RQ2 在缺乏外部监督的情况下，何种计算机制能够实现高效、稳定且自适应的学习？
• RQ3 一个统一的框架能否将判别式与生成式建模整合为单一、自我校正的系统？
• RQ4 简洁性与自一致性如何在深度网络中导致结构化、可解释且鲁棒的表征？
• RQ5 该框架在多大程度上能够解释生物大脑在感知与决策中所表现出的高效性与适应性？

主要发现

• 压缩闭环转录框架通过将判别式与生成式建模整合为单一、自洽的系统，统一了现代深度学习实践。
• 自一致性确保了模型内部表征的鲁棒性与可解释性，因为编码器无法区分真实输入与重建输入。
• 简洁性导致紧凑、结构化的表征，避免神经坍塌现象，即使在最后几层也能保留丰富的特征信息。
• 闭环架构提升了训练稳定性，缓解了模式崩溃问题，并增强了对形变与对抗性攻击的鲁棒性。
• 该框架自然解释了大脑中观察到的功能模块化与稀疏编码现象，提示人工与生物智能共享同一基本原理。
• 近期研究（如 Dai et al., 2022）的实证结果表明，该方法可在资源有限条件下实现高效学习，性能可媲美大规模端到端模型，同时保持可解释性与适应性。