[论文解读] Untangling in Invariant Speech Recognition

Cory Stephenson, Jenelle Feather+5 more|arXiv (Cornell University)|Mar 3, 2020

Speech and Audio Processing被引用 9

一句话总结

本文将流形解缠的统计力学理论应用于语音识别的深度神经网络，揭示了词、音素和词性等与任务相关的特征在神经网络各层之间逐渐变得可分，而说话人特异性差异则被舍弃。研究显示，循环层中的时间处理进一步增强了可分性，峰值可分性出现在词边界附近，这是由于流形半径和维度降低所致。

ABSTRACT

Encouraged by the success of deep neural networks on a variety of visual tasks, much theoretical and experimental work has been aimed at understanding and interpreting how vision networks operate. Meanwhile, deep neural networks have also achieved impressive performance in audio processing applications, both as sub-components of larger systems and as complete end-to-end systems by themselves. Despite their empirical successes, comparatively little is understood about how these audio models accomplish these tasks. In this work, we employ a recently developed statistical mechanical theory that connects geometric properties of network representations and the separability of classes to probe how information is untangled within neural networks trained to recognize speech. We observe that speaker-specific nuisance variations are discarded by the network's hierarchy, whereas task-relevant properties such as words and phonemes are untangled in later layers. Higher level concepts such as parts-of-speech and context dependence also emerge in the later layers of the network. Finally, we find that the deep representations carry out significant temporal untangling by efficiently extracting task-relevant features at each time step of the computation. Taken together, these findings shed light on how deep auditory models process time dependent input signals to achieve invariant speech recognition, and show how different concepts emerge through the layers of the network.

研究动机与目标

• 研究语音识别的深度神经网络如何在各层中解缠与任务相关的听觉对象流形。
• 考察循环层中的时间动态在实现语音单元随时间可分性方面的作用。
• 比较不同架构（CNN与端到端ASR）以及不同任务（词识别与说话人识别）下的解缠行为。
• 评估解缠是否为训练的涌现特性，而非显式优化目标。
• 评估网络架构、训练目标与学习表征的几何结构之间的关系。

提出的方法

• 本研究采用基于复制方法的统计力学框架，计算流形容量，该指标将几何属性（半径、维度、中心相关性）与对象流形的线性可分性联系起来。
• 在每一层和每个时间步计算流形容量，以评估不同语音类别（词、音素、词性、说话人）的分离程度。
• 该分析应用于一个CNN模型和一个端到端ASR模型（Deep Speech 2），分别在LibriSpeech和说话人识别数据集上进行训练。
• 通过跟踪训练周期中流形半径和维度等几何属性，评估解缠的出现过程。
• 通过在循环层中每个时间步计算流形度量，评估时间上的解缠，揭示逐帧的可分性动态。
• 通过比较随机权重初始化的表征，评估解缠是否源于训练而非架构本身。

实验结果

研究问题

• RQ1 语音识别的深度神经网络如何在分层结构中解缠词流形？
• RQ2 音素和词性的解缠在多大程度上是训练的涌现特性，而非显式目标？
• RQ3 循环层如何促进语音单元在时间步上的时序解缠？
• RQ4 为何在词识别模型中说话人特异性信息会随网络层传播而消失，而在说话人识别模型中却得以保留？
• RQ5 表征的几何结构与任务性能以及语音识别与说话人识别之间的可迁移性之间存在何种关系？

主要发现

• 词流形在深层中表现出显著的解缠，流形容量增加，同时半径和维度降低，表明线性可分性得到改善。
• 端到端ASR模型（Deep Speech 2）在未显式作为训练目标的情况下，仍表现出音素和词性的涌现解缠。
• ASR模型中的循环层在接近词边界的时步达到可分性的峰值，相对容量达3.6，远超随机基线的1.4，这是由于流形半径和维度降低所致。
• 在词识别模型中，说话人流形在各层中被舍弃，但在专门训练用于说话人识别的模型中则被保留，表明表征几何具有任务依赖性。
• 尽管架构和训练目标存在差异，CNN与端到端ASR模型均收敛于相似的解缠行为，表明语音表征学习中存在普遍的几何规律。
• 本研究证明，循环网络中的时间处理能够实现高效、逐帧的语音单元分离，且几何属性随时间动态演化。