[论文解读] Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting

Hiroshi Fuketa, Yukinori Morita|arXiv (Cornell University)|Aug 1, 2020

Speech Recognition and Synthesis参考文献 9被引用 4

一句话总结

该论文提出了一种基于神经ODE的新型架构，结合了时间卷积和时间延迟神经网络，用于小尺寸关键词检测（KWS），实现了高效的推理和更小的模型尺寸。通过引入批量归一化并优化计算，与传统KWS模型相比，该模型的参数量减少了68%，显著提升了在资源受限设备上的可部署性。

ABSTRACT

In this paper, we propose neural network models based on the neural ordinary differential equation (NODE) for small-footprint keyword spotting (KWS). We present techniques to apply NODE to KWS that make it possible to adopt Batch Normalization to NODE-based network and to reduce the number of computations during inference. Finally, we show that the number of model parameters of the proposed model is smaller by 68% than that of the conventional KWS model.

研究动机与目标

• 解决在内存和计算资源有限的设备上部署关键词检测模型的挑战。
• 通过支持批量归一化和减少推理计算，将神经微分方程（NODEs）适配至小尺寸KWS任务。
• 设计一种轻量化、高效的深度学习架构，在保持高精度的同时最小化模型尺寸。
• 将时间卷积和时间延迟神经网络组件整合到NODE框架中，以提升KWS中的序列建模能力。

提出的方法

• 提出一种改进的NODE架构，引入时间卷积层以捕捉音频序列中的局部时间模式。
• 采用时间延迟神经网络（TDNN）层通过参数共享来建模长程依赖关系，提升效率。
• 通过在NODE模块之间应用批量归一化，将批量归一化成功适配到NODE框架中，以稳定训练并提升收敛性。
• 通过架构和训练时的修改，减少NODE函数的评估次数，优化推理过程。
• 在NODE模块内部采用残差连接结构，以改善梯度流动并提升训练稳定性。
• 将NODE的连续深度建模能力与卷积层及TDNN层的归纳偏置相结合，以获得更优的序列表征能力。

实验结果

研究问题

• RQ1 神经ODE能否在参数量极少的情况下有效适配至小尺寸关键词检测任务？
• RQ2 如何成功地将批量归一化整合到神经ODE框架中用于KWS？
• RQ3 结合时间卷积和时间延迟网络对KWS模型的效率和精度有何影响？
• RQ4 在不牺牲性能的前提下，NODE-based KWS模型的推理计算最多可减少多少？

主要发现

• 与传统KWS模型相比，所提出的模型将参数量减少了68%，显著提升了在边缘设备上的可部署性。
• 将批量归一化集成到NODE框架中，稳定了训练过程，提升了模型收敛性和精度。
• 时间卷积与TDNN层的结合增强了模型捕捉音频输入中局部和长程时间特征的能力。
• 通过架构优化减少了推理计算量，使模型在实时部署中更加高效。