[论文解读] Probabilistic Neural Network with Complex Exponential Activation Functions in Image Recognition using Deep Learning Framework

A. Savchenko|arXiv (Cornell University)|Aug 9, 2017

Domain Adaptation and Few-Shot Learning参考文献 58被引用 4

一句话总结

本文提出一种改进的概率神经网络（PNN），用基于Fejér核的复指数激活函数替代标准高斯Parzen核，将模式层神经元数量从数据库规模减少至数据库规模的立方根左右。这使得内存和运行时复杂度显著降低，同时保持快速训练和贝叶斯最优性，在小图像数据集上的物体识别与人脸识别任务中表现出色。

ABSTRACT

If the training dataset is not very large, image recognition is usually implemented with the transfer learning methods. In these methods the features are extracted using a deep convolutional neural network, which was preliminarily trained with an external very-large dataset. In this paper we consider the nonparametric classification of extracted feature vectors with the probabilistic neural network (PNN). The number of neurons at the pattern layer of the PNN is equal to the database size, which causes the low recognition performance and high memory space complexity of this network. We propose to overcome these drawbacks by replacing the exponential activation function in the Gaussian Parzen kernel to the complex exponential functions in the Fejér kernel. We demonstrate that in this case it is possible to implement the network with the number of neurons in the pattern layer proportional to the cubic root of the database size. Thus, the proposed modification of the PNN makes it possible to significantly decrease runtime and memory complexities without loosing its main advantages, namely, extremely fast training procedure and the convergence to the optimal Bayesian decision. An experimental study in visual object category classification and unconstrained face recognition with contemporary deep neural networks have shown, that our approach obtains very efficient and rather accurate decisions for the small training sample in comparison with the well-known classifiers.

研究动机与目标

• 为解决传统概率神经网络（PNN）因每个训练样本对应一个神经元而导致内存与计算复杂度随数据库规模线性增长的问题。
• 提升PNN在小样本图像识别任务中的效率，此类任务通常依赖迁移学习，但仍面临可扩展性挑战。
• 在减少模型规模的同时，保持PNN的核心优势——极快的训练速度和收敛至贝叶斯最优决策的能力。
• 探索基于Fejér核导出的复指数函数作为PNN中标准高斯Parzen核的替代方案。

提出的方法

• 用基于Fejér核导出的复指数函数替代高斯Parzen核中的指数激活函数，以建模概率密度函数。
• 利用Fejér核的特性实现训练数据的压缩表示，从而减少所需模式层神经元的数量。
• 设计模式层时，神经元数量与数据库规模的立方根成正比，而非与数据库规模完全成比，显著降低内存与计算开销。
• 将改进后的PNN应用于从大规模数据集预训练的深度卷积神经网络（CNN）提取的特征向量，实现在小样本数据集上的迁移学习。
• 通过直接使用训练样本作为模式层神经元，以非参数方式训练PNN，但通过核压缩技术大幅减少神经元数量。
• 采用复值激活函数，在降低模型规模与推理时间的同时保持分类判别能力。

实验结果

研究问题

• RQ1 能否使用Fejér核的复指数激活函数在不降低分类准确率的前提下，减少PNN模式层的神经元数量？
• RQ2 用复指数核替代高斯Parzen核后，是否仍能保持PNN收敛至最优贝叶斯决策的特性？
• RQ3 通过将模式层神经元数量设为数据库规模的立方根，PNN的内存与运行时复杂度最多可降低多少？
• RQ4 在小样本训练数据集上，所提出的PNN与标准分类器相比，在准确率与效率方面表现如何？
• RQ5 在真实应用场景中，如物体类别分类与无约束人脸识别，该改进PNN在训练样本有限的情况下是否仍能保持高性能？

主要发现

• 所提出的PNN采用复指数激活函数后，模式层神经元数量从完整数据库规模减少至约数据库规模的立方根，显著降低了内存与运行时复杂度。
• 改进后的PNN保持了快速训练速度，并能收敛至最优贝叶斯决策，保留了传统PNN的核心优势。
• 在视觉物体类别分类任务中，该方法在极小训练集下仍能达到与最先进分类器相当的准确率。
• 在无约束人脸识别任务中，该方法展现出高准确率与强鲁棒性，在有限训练数据上优于多个知名分类器。
• 实验结果证实，复杂度降低并未损害性能，使该方法适用于资源受限或数据稀缺的场景。