[论文解读] Understanding understanding: a renormalization group inspired model of (artificial) intelligence

Antal Jakovác, D. Berenyi+1 more|arXiv (Cornell University)|Oct 26, 2020

Cognitive Science and Education Research参考文献 1被引用 4

一句话总结

本文提出了一种受重整化群启发的框架，将理解定义为通过新坐标系对信息进行重组，区分相关（决定性）参数与无关（均匀分布）参数。该框架通过相关性度量形式化了科学与人工智能的理解，实现了有损压缩，并澄清了模式识别与真正理解之间的区别。

ABSTRACT

This paper is about the meaning of understanding in scientific and in artificial intelligent systems. We give a mathematical definition of the understanding, where, contrary to the common wisdom, we define the probability space on the input set, and we treat the transformation made by an intelligent actor not as a loss of information, but instead a reorganization of the information in the framework of a new coordinate system. We introduce, following the ideas of physical renormalization group, the notions of relevant and irrelevant parameters, and discuss, how the different AI tasks can be interpreted along these concepts, and how the process of learning can be described. We show, how scientific understanding fits into this framework, and demonstrate, what is the difference between a scientific task and pattern recognition. We also introduce a measure of relevance, which is useful for performing lossy compression.

研究动机与目标

• 使用基于信息重组的数学框架，形式化人工智能与自然科学中理解的概念。
• 解决传统科学与人工智能方法在解释个体参数失去可解释性的复杂系统时的局限性。
• 引入一种相关性度量，实现复杂数据的有损压缩，同时保持预测能力。
• 通过坐标系变换的视角，阐明模式识别与真正科学理解之间的区别。
• 展示如何利用相关性度量与重整化群原理，对时变系统中的学习过程进行结构化组织。

提出的方法

• 将理解定义为将输入数据转换为新坐标系的过程，其中信息被重新组织而非丢失。
• 引入相关与无关参数的概念：相关坐标在其子集上具有决定性值，而无关坐标在其定义域内均匀分布。
• 使用参数 k 表示测量精度或空间/时间平均，通过坐标在不同 k 尺度下的行为定义相关性。
• 应用重整化群演化，追踪坐标随尺度变化从相关到无关的转变，识别相关性的临界点。
• 基于坐标在某一 k 值下变为统计无关的特性，构建相关性度量，实现有损压缩。
• 将框架扩展至多个不相交子集，通过检查相关与无关坐标，实现对分类、回归与解码任务的应用。

实验结果

研究问题

• RQ1 如何在超越单纯模式识别的基础上，正式定义人工智能与自然科学中的理解？
• RQ2 在系统描述中，何种数学标准可区分相关与无关参数？
• RQ3 如何构建一种相关性度量，以实现复杂数据的有效有损压缩？
• RQ4 重整化群框架在何种程度上有助于解决深度学习与复杂模拟中的可解释性危机？
• RQ5 该框架如何区分数据驱动模型中的科学理解与表面相关性？

主要发现

• 理解被重新定义为选择一种坐标系，其中相关参数具有决定性，无关参数在其定义域内均匀分布。
• 该框架通过识别在某一尺度下变为无关的坐标，实现有损压缩，相关性度量基于 k 依赖的测量结果。
• 科学理解与模式识别之间的区别被形式化：科学理解涉及可解释的、相关的效应，可独立命名与研究。
• 在具有大量相关与无关坐标的系统中，单个参数失去意义，仅集体行为具有描述性——这与深度神经网络的行为相一致。
• 该模型解释了为何某些预测会失败：表观随机性可能源于遗漏了被错误归类为无关的隐藏相关参数。
• 该框架通过直接检查相关与无关坐标，支持所有标准人工智能任务（分类、回归、压缩、解码）。