[论文解读] Stochastic Adaptive Neural Architecture Search for Keyword Spotting

Tom Véniat, Olivier Schwander+1 more|arXiv (Cornell University)|Nov 16, 2018

Advanced Text Analysis Techniques参考文献 27被引用 26

一句话总结

本文提出SANAS（Stochastic Adaptive Neural Architecture Search），一种端到端可微分方法，可在推理时根据输入难度动态调整神经网络架构，使用可学习策略选择更简单或更深的模型以实现关键词检测。该方法在保持最先进准确率的同时，相比静态模型将FLOPs降低高达99.8%，显著提升了在Speech Commands数据集上的能效表现。

ABSTRACT

The problem of keyword spotting i.e. identifying keywords in a real-time audio stream is mainly solved by applying a neural network over successive sliding windows. Due to the difficulty of the task, baseline models are usually large, resulting in a high computational cost and energy consumption level. We propose a new method called SANAS (Stochastic Adaptive Neural Architecture Search) which is able to adapt the architecture of the neural network on-the-fly at inference time such that small architectures will be used when the stream is easy to process (silence, low noise, ...) and bigger networks will be used when the task becomes more difficult. We show that this adaptive model can be learned end-to-end by optimizing a trade-off between the prediction performance and the average computational cost per unit of time. Experiments on the Speech Commands dataset show that this approach leads to a high recognition level while being much faster (and/or energy saving) than classical approaches where the network architecture is static.

研究动机与目标

• 为解决在资源受限设备上实时关键词检测中静态神经网络带来的高计算与能耗问题。
• 开发一种基于输入难度在推理时自适应调整网络架构的方法，利用可微分策略平衡准确率与计算成本。
• 通过优化预测损失与平均计算成本之间的权衡，端到端学习架构自适应策略。
• 证明自适应模型可在不牺牲识别性能的前提下实现更高效率。
• 在Speech Commands数据集上通过流式指标和FLOPs作为效率指标验证该方法。

提出的方法

• SANAS采用随机且可微分的架构搜索机制，基于隐藏状态在每个时间步预测架构分布。
• 模型在每个时间步从由神经网络参数化的分布中采样一个架构，并在当前输入帧上进行评估。
• 训练目标结合了预测损失与加权成本项（λ × FLOPs），通过带方差减少的蒙特卡洛梯度估计进行优化。
• 使用超网络结构表示搜索空间，其中残差式快捷连接根据采样架构选择性激活。
• 循环组件（GRU）保持上下文信息，架构策略网络将隐藏状态映射到可能架构的分布。
• 使用ADAM优化器以自适应学习率进行端到端训练，λ在多个数量级范围内进行调优。

实验结果

研究问题

• RQ1 神经网络是否能在推理过程中动态自适应调整其架构，以在不牺牲关键词检测准确率的前提下降低计算成本？
• RQ2 是否能够通过可微分目标端到端训练此类自适应架构策略，以平衡准确率与计算成本？
• RQ3 模型在不同输入类型（如静音、背景噪声、关键词）下的架构选择如何变化？
• RQ4 该方法在真实音频流上是否能实现优于静态模型的效率-准确率权衡？
• RQ5 在超网络中引入可学习的跳跃连接是否能提升性能并支持自适应剪枝？

主要发现

• SANAS在Speech Commands数据集上实现了86.5%的词匹配率，每帧仅需3770万FLOPs，优于基线模型cnn-trad-fpool3（81.7%匹配率，1.246亿FLOPs）。
• 与最强的静态基线模型相比（1.373亿FLOPs），该模型平均FLOPs降低了99.8%，同时将准确率从82.9%提升至86.5%。
• 训练动态显示，模型自动为包含关键词的帧分配更多计算资源，而为背景噪声帧分配更少资源（见图5）。
• 模型在仅5.8%错误检测率和0.3%误报率下实现了80.7%的正确检测率，表现出强鲁棒性与一致性。
• 自适应模型在准确率与效率方面均优于基线模型，最佳性能的SANAS模型实现了86.5%匹配率，每帧仅3770万FLOPs。
• 尽管使用了快捷连接，该方法仍成功避免了过拟合，归因于训练目标中显式的成本正则化。