[论文解读] Multilayer Perceptron Algebra

Peng Zhao|arXiv (Cornell University)|Jan 18, 2017

Neural Networks and Applications参考文献 4被引用 3

一句话总结

本文提出了MLP代数，一种数学框架，通过加法、乘法、补集和组件分解等代数运算，实现多层感知机（MLP）神经网络的系统化设计与组合。通过将MLP视为代数对象，该理论允许从在分解数据上训练的更简单、任务特定的子网络构建复杂网络，同时保持精度，并为网络架构设计提供系统性方法。

ABSTRACT

Artificial Neural Networks(ANN) has been phenomenally successful on various pattern recognition tasks. However, the design of neural networks rely heavily on the experience and intuitions of individual developers. In this article, the author introduces a mathematical structure called MLP algebra on the set of all Multilayer Perceptron Neural Networks(MLP), which can serve as a guiding principle to build MLPs accommodating to the particular data sets, and to build complex MLPs from simpler ones.

研究动机与目标

• 解决当前神经网络设计严重依赖直觉和经验、缺乏系统性原则的问题。
• 构建一个形式化的数学结构——MLP代数，以实现从更简单、任务特定的网络构建复杂MLP。
• 提供显式的代数运算，用于组合或分解神经网络，同时在原始数据子集上保持分类性能。
• 为整合在不相交或标记子集上训练的网络提供理论基础，形成统一且准确的分类器。
• 探索数据的几何和结构特性如何通过代数运算指导网络组合。

提出的方法

• 定义互补网络（Complementary Net）运算，用于反转网络输出，实现分类结果的逻辑非操作。
• 引入求和网络（Sum Net）运算，通过笛卡尔积连接隐藏层，将具有相同输入和输出层的两个MLP组合起来。
• 提出I-Product网络，用于组合在不相交、非重叠数据子集上训练的网络，使用块对角权重矩阵。
• 引入O-Product网络，通过输出层的直和运算，将多个单标签分类器整合为一个多功能多标签网络。
• 定义组件网络（Component Net），将多输出网络分解为每个标签对应的一个单独单输出分类器。
• 引入相同扩展（Identical Extension，β），通过添加带ReLU激活的恒等层，对深度不同的网络进行对齐，实现跨不同架构的一致组合。

实验结果

研究问题

• RQ1 如何从在分解数据上训练的更简单、任务特定的子网络系统化地组合神经网络？
• RQ2 对在不相交或标记数据子集上训练的网络进行组合时，哪些MLP代数运算能保持分类精度？
• RQ3 能否为MLP定义一个形式化的数学结构，使其支持类似域代数的加法、乘法和补集运算？
• RQ4 如何通过代数规则一致地组合具有不同架构（如不同深度）的网络？
• RQ5 数据分解（如按连通分量或标签）在通过MLP代数实现有效网络组合中起到什么作用？

主要发现

• MLP代数框架能够构建一个单一、统一的神经网络，在整合在不相交或标记子集上训练的子网络时，仍能保持在组合数据集上的高分类精度。
• 求和网络（Sum Net）运算成功地将两个在数据集不同连通分量上训练的网络组合起来，同时保持了在各分量上的性能。
• O-Product网络运算允许将多个单标签分类器整合为一个单一的多标签网络，其输出层表示各独立标签输出的直和。
• 组件网络（Component Net）运算能够将多输出网络分解为多个独立的单输出网络，每个对应一个标签，从而促进模块化训练与分析。
• 相同扩展（β）运算通过在较短网络中添加带ReLU激活的恒等层，使深度不同的网络能够一致地组合，确保层结构兼容。
• 该理论表明，可通过代数运算系统化地从简单网络构建复杂网络，为启发式设计提供一种有原则的替代方案。