[论文解读] Progressive Operational Perceptron with Memory

Dat Thanh Tran, Serkan Kıranyaz+2 more|arXiv (Cornell University)|Aug 20, 2018

Neural Networks and Applications参考文献 33被引用 16

一句话总结

本文提出 POPfast，一种高效的广义操作感知机（GOP）网络训练方法，通过降低计算复杂度，显著加速了 GOP 网络的训练。该方法引入了增强记忆的架构（POPmem-H 和 POPmem-O），通过线性投影路径保留来自先前层的信息，从而实现更深层、更具判别性的表征，在动作识别、物体识别、人脸身份识别和场景识别等任务中，性能优于 POP 及其他基线模型。

ABSTRACT

Generalized Operational Perceptron (GOP) was proposed to generalize the linear neuron model in the traditional Multilayer Perceptron (MLP) and this model can mimic the synaptic connections of the biological neurons that have nonlinear neurochemical behaviours. Progressive Operational Perceptron (POP) is a multilayer network composing of GOPs which is formed layer-wise progressively. In this work, we propose major modifications that can accelerate as well as augment the progressive learning procedure of POP by incorporating an information-preserving, linear projection path from the input to the output layer at each progressive step. The proposed extensions can be interpreted as a mechanism that provides direct information extracted from the previously learned layers to the network, hence the term "memory". This allows the network to learn deeper architectures with better data representations. An extensive set of experiments show that the proposed modifications can surpass the learning capability of the original POPs and other related algorithms.

研究动机与目标

• 降低原始渐进式操作感知机（POP）算法在训练 GOP 网络时的高计算复杂度。
• 通过引入记忆机制，保留先前学习层的信息，增强渐进式学习能力。
• 通过架构扩展，实现更深层 GOP 网络的训练，提升数据表征质量。
• 在多种识别任务（包括人类动作、物体、人脸身份和场景识别）上评估所提算法的性能。

提出的方法

• 提出 POPfast，一种针对 GOP 网络的优化训练流程，通过简化算子集搜索和逐层训练，相比 POP 显著降低计算复杂度。
• 引入两种架构扩展：POPmem-H 和 POPmem-O，它们在每个渐进步骤中从输入层到输出层嵌入线性投影路径，以保留历史信息。
• 采用两遍广义信息搜索（GIS）算法训练单隐藏层网络（SHLN），通过迭代优化隐藏层和输出层的算子集。
• 使用包含节点算子（如乘法、指数、调和）、池化算子（如求和、相关性、最大值）和激活函数（如 Sigmoid、ReLU、tanh）的算子库。
• 通过主成分分析（PCA）或线性判别分析（LDA）实现线性记忆路径，将前序层的特征投影至后续层，使隐藏层和输出层均可访问先前知识。
• 采用逐层构建的渐进式网络构造策略，每新增一层时均保留并整合先前层的信息。

实验结果

研究问题

• RQ1 是否能在不牺牲 GOP 网络学习性能的前提下，显著降低 POP 算法的计算复杂度？
• RQ2 引入保留先前层信息的记忆路径，如何影响 GOP 网络中表征质量与泛化能力的渐进式学习？
• RQ3 所提出的记忆机制是否能实现比标准 POP 更深 GOP 网络的训练，并提升特征学习能力？
• RQ4 不同的记忆投影技术（PCA 与 LDA）在扩展的 POPfast 框架中对性能与训练效率有何影响？

主要发现

• POPfast 在所有测试数据集上均实现显著更快的训练速度，同时保持或提升分类准确率。
• 采用正交投影记忆的 POPmem-O 变体在 Caltech256 和 CFW60K 数据集上均优于 POPfast 及其他基线模型，表现最佳。
• 增强记忆的变体（POPmem-O 和 POPmem-H）始终优于 POPfast，表明显式学习互补表征可提升特征质量。
• POPmem-O 架构（允许隐藏层和输出层均访问记忆）相比仅隐藏层访问先验信息的 POPmem-H，性能更优。
• 即使使用 POPmem-O 的网络拓扑作为模板，仅包含 GOP 的 POPfast* 仍表现逊于 POPmem-O，证明非线性 GOP 与线性记忆神经元的结合更具优势。
• 基于感知机的基线模型（S-ELM、BLS、PLN）虽训练更快但准确率较低；当网络深度增加时，PLN 被 POPfast* 超越，凸显 GOP 基学习结合记忆机制的优势。