[论文解读] Speech Emotion Recognition System by Quaternion Nonlinear Echo State Network

Fatemeh Daneshfar, Seyed Jahanshah Kabudian|arXiv (Cornell University)|Nov 13, 2021

Neural Networks and Reservoir Computing被引用 5

一句话总结

本文提出了一种用于语音情感识别的四元数非线性回声状态网络（QNESN），利用四元数代数压缩高维数据，并用多维双线性滤波器替代线性输出组合器，以增强非线性特征学习能力。在EMODB、SAVEE和IEMOCAP数据集上的评估表明，QNESN在性能上优于标准ESN和当前最先进的语音情感识别系统，通过遗传算法优化的系数和权重，实现了更高的准确率和更低的内存占用。

ABSTRACT

The echo state network (ESN) is a powerful and efficient tool for displaying dynamic data. However, many existing ESNs have limitations for properly modeling high-dimensional data. The most important limitation of these networks is the high memory consumption due to their reservoir structure, which has prevented the increase of reservoir units and the maximum use of special capabilities of this type of network. One way to solve this problem is to use quaternion algebra. Because quaternions have four different dimensions, high-dimensional data are easily represented and, using Hamilton multiplication, with fewer parameters than real numbers, make external relations between the multidimensional features easier. In addition to the memory problem in the ESN network, the linear output of the ESN network poses an indescribable limit to its processing capacity, as it cannot effectively utilize higher-order statistics of features provided by the nonlinear dynamics of reservoir neurons. In this research, a new structure based on ESN is presented, in which quaternion algebra is used to compress the network data with the simple split function, and the output linear combiner is replaced by a multidimensional bilinear filter. This filter will be used for nonlinear calculations of the output layer of the ESN. In addition, the two-dimensional principal component analysis technique is used to reduce the number of data transferred to the bilinear filter. In this study, the coefficients and the weights of the quaternion nonlinear ESN (QNESN) are optimized using the genetic algorithm. In order to prove the effectiveness of the proposed model compared to the previous methods, experiments for speech emotion recognition have been performed on EMODB, SAVEE, and IEMOCAP speech emotional datasets. Comparisons show that the proposed QNESN network performs better than the ESN and most currently SER systems.

研究动机与目标

• 为解决传统回声状态网络（ESNs）在处理高维语音数据时存在的高内存消耗和有限非线性处理能力问题。
• 克服线性输出组合器无法利用储层特征高阶统计特性的局限。
• 通过将四元数代数整合到ESN架构中，提升特征表示能力和模型效率。
• 使用遗传算法优化网络参数，以提升情感识别性能。
• 在基准语音情感识别数据集上验证所提出的QNESN模型，证明其优于现有ESN和SER方法。

提出的方法

• 利用四元数代数，通过四维表示来表示和压缩高维语音特征，从而减少参数数量。
• 用多维双线性滤波器替代标准线性输出组合器，实现在输出层的非线性计算。
• 应用二维主成分分析（2D-PCA）对输入数据进行降维处理，再输入双线性滤波器，以最小化数据传输和计算负载。
• 使用分段函数高效地将实值输入特征映射到四元数空间，实现紧凑表示。
• 使用遗传算法优化QNESN的系数和权重，以提升分类准确率。
• 设计一种保持回声状态特性的储层结构，同时实现高效的四元数基动态和非线性变换。

实验结果

研究问题

• RQ1 四元数代数是否能在不牺牲语音情感识别性能的前提下，有效降低回声状态网络中的内存消耗？
• RQ2 用双线性滤波器替代线性输出组合器，对建模语音数据中高阶统计特征的提升效果如何？
• RQ3 2D-PCA预处理在多大程度上提升了QNESN模型的效率和准确率？
• RQ4 所提出的QNESN架构是否在基准数据集上优于标准ESN和现有最先进的SER系统？
• RQ5 对QNESN参数进行遗传算法优化，是否能显著提升情感分类准确率？

主要发现

• QNESN模型在EMODB、SAVEE和IEMOCAP数据集上的分类准确率高于标准ESN和大多数当前最先进的语音情感识别系统。
• 采用四元数表示显著减少了所需参数数量，大幅降低了内存消耗，同时保持或增强了特征表示能力。
• 输出层中的双线性滤波器有效捕捉了储层激活中的非线性关系，提升了模型区分不同情感状态的能力。
• 2D-PCA预处理降低了输入维度，实现了更快的计算速度和更低的数据传输开销，且未降低性能。
• 对QNESN权重和系数的遗传算法优化，显著提升了所有测试数据集上的收敛性和鲁棒性。
• 所提出的模型在多个数据集上均表现出一致的性能提升，表明其在语音情感识别任务中具有强大的泛化能力。