[论文解读] Topos and Stacks of Deep Neural Networks

Jean‐Claude Belfiore, Daniel Bennequin|arXiv (Cornell University)|Jun 28, 2021

Topological and Geometric Data Analysis参考文献 92被引用 4

一句话总结

本文提出了一种基于拓扑斯理论的深度神经网络（DNNs）框架，将DNNs建模为格罗滕迪克拓扑斯中的对象，其中学习动态表现为态射的流动。该研究证明，不变性结构（如卷积神经网络、LSTM）对应于吉拉德层（Giraud stacks），语义功能则源于纤维化中的内部逻辑，语义信息通过奎伦模型范畴中的同调与同伦不变量进行量化。

ABSTRACT

Every known artificial deep neural network (DNN) corresponds to an object in a canonical Grothendieck's topos; its learning dynamic corresponds to a flow of morphisms in this topos. Invariance structures in the layers (like CNNs or LSTMs) correspond to Giraud's stacks. This invariance is supposed to be responsible of the generalization property, that is extrapolation from learning data under constraints. The fibers represent pre-semantic categories (Culioli, Thom), over which artificial languages are defined, with internal logics, intuitionist, classical or linear (Girard). Semantic functioning of a network is its ability to express theories in such a language for answering questions in output about input data. Quantities and spaces of semantic information are defined by analogy with the homological interpretation of Shannon's entropy of P.Baudot and D.Bennequin in 2015). They generalize the measures found by Carnap and Bar-Hillel (1952). Amazingly, the above semantical structures are classified by geometric fibrant objects in a closed model category of Quillen, then they give rise to homotopical invariants of DNNs and of their semantic functioning. Intentional type theories (Martin-Loef) organize these objects and fibrations between them. Information contents and exchanges are analyzed by Grothendieck's derivators.

研究动机与目标

• 建立一个基础性的范畴与拓扑框架，以理解深度神经网络（DNNs）的语义功能。
• 在格罗滕迪克拓扑斯中，将DNN中的不变性结构（如卷积神经网络、LSTM）形式化为吉拉德层（Giraud stacks）。
• 将语义信息定义为一种拓扑斯性拓扑不变量，通过同调与同伦构造推广卡纳普-巴-希尔勒度量。
• 将DNN动态与直觉逻辑、经典逻辑及线性类型理论（特别是马丁-洛夫类型理论）相联系，以实现内部逻辑与推理。
• 通过高阶范畴结构（如导出范畴与3-范畴）统一DNN架构、学习动态与语义信息。

提出的方法

• 将DNN建模为标准格罗滕迪克拓扑斯中的动力对象，将反向传播解释为态射的随机流动。
• 利用拓扑斯理论中的吉拉德层理论，通过层对分类的群胚作用来表示不变性（如平移、时间递归），实现其建模。
• 在奎伦闭模型范畴中通过同调与上同调构造定义语义信息，推广香农熵与卡纳普-巴-希尔勒度量。
• 应用格罗滕迪克导出范畴分析网络各层及理论之间的信息交换与语义内容。
• 使用马丁-洛夫类型理论组织语言与理论的纤维化，其中内部蕴含关系建模条件推理。
• 通过注意力与关系模空间构造DNN的3-范畴，其同伦不变量源自层论与纤维对象的分类。

实验结果

研究问题

• RQ1 如何将深度神经网络正式表示为格罗滕迪克拓扑斯中的对象，并将学习动态建模为态射流动？
• RQ2 DNN中不变性结构（如卷积层、循环层）的范畴与拓扑表征为何？其与吉拉德层有何关系？
• RQ3 如何在DNN的模型范畴中将语义信息量化为同伦不变量，以推广经典信息度量？
• RQ4 纤维化中的内部逻辑（直觉逻辑、经典逻辑、线性逻辑）如何在DNN中实现语义推理与理论构建？
• RQ5 高阶范畴结构（如导出范畴与3-范畴）如何捕捉循环网络中展开、记忆与注意力的动力学？

主要发现

• DNN的拓扑斯被标准地刻画为格罗滕迪克拓扑斯，学习动态被建模为自然（随机）态射流动，如定理1.1所形式化。
• 卷积或循环层等不变性结构对应于吉拉德层，且在定理2.1中建立了语义流动的几何充分条件。
• 在奎伦闭模型范畴中的纤维化对DNN的语义结构进行分类，纤维对象对应于稳定的语义构型，如定理2.1与2.2所示。
• 语义信息通过模型范畴中的同调与上同调构造进行定义，通过拓扑不变量推广卡纳普-巴-希尔勒度量与香农熵。
• LSTM的动力学被证明实现了通用结构假设，其通用记忆与辫状展开模式在定理4.1中被形式化。
• 提出DNN的3-范畴，其中注意力与关系模空间构成2-态射，语义信息通过格罗滕迪克导出范畴分析，详见第5.3节。