[论文解读] Surprisal-Triggered Conditional Computation with Neural Networks

Loren Lugosch, Derek Nowrouzezahrai+1 more|arXiv (Cornell University)|Jun 2, 2020

Neural Networks and Applications参考文献 84被引用 5

一句话总结

本文提出了一种基于意外度触发的条件计算框架，利用自回归神经网络通过负对数似然度量输入难度，动态在小型快速网络与大型慢速网络之间切换。该方法在两项语音识别任务中将FLOPs减少15%，且性能无下降，证明意外度是实现高效自适应推理的有效归纳偏置。

ABSTRACT

Autoregressive neural network models have been used successfully for sequence generation, feature extraction, and hypothesis scoring. This paper presents yet another use for these models: allocating more computation to more difficult inputs. In our model, an autoregressive model is used both to extract features and to predict observations in a stream of input observations. The surprisal of the input, measured as the negative log-likelihood of the current observation according to the autoregressive model, is used as a measure of input difficulty. This in turn determines whether a small, fast network, or a big, slow network, is used. Experiments on two speech recognition tasks show that our model can match the performance of a baseline in which the big network is always used with 15% fewer FLOPs.

研究动机与目标

• 通过基于输入难度模拟人类认知模式（系统1：快速、低计算量；系统2：慢速、高计算量），提升神经网络的计算效率。
• 探究是否可将意外度（通过自回归模型的负对数似然计算）作为可靠且有效的归纳偏置，用于触发条件计算。
• 评估该方法是否在计算成本与模型性能之间实现了优于始终使用大网络或使用学习控制器的更好权衡。
• 探索自回归模型在特征提取与输入难度估计中的双重作用，这是一种此前未被展示的新颖应用。

提出的方法

• 一个自回归模型（例如RNN）处理输入观测流，同时提取特征并预测下一个观测。
• 每个输入的意外度通过自回归模型下当前观测的负对数似然计算，作为输入难度的代理指标。
• 对于低意外度（简单）输入使用小型快速网络，仅当意外度超过学习到的阈值时才激活大型慢速网络。
• 阈值通过验证集确定，实现基于输入复杂度的动态切换，无需强化学习或难以训练的控制器。
• 该方法通过软近似实现端到端训练，使反向传播能够穿过切换机制。
• 该框架在两个语音识别任务（TIMIT和Mini-LibriSpeech）上进行评估，使用小型和大型网络，并调整不同超参数。

实验结果

研究问题

• RQ1 基于自回归模型的负对数似然计算的意外度，能否可靠指示输入难度并引导条件计算？
• RQ2 仅在输入困难时触发大网络是否能实现优于始终使用大网络的FLOP-性能权衡？
• RQ3 与使用学习控制器进行网络选择的模型相比，基于意外度触发的模型性能如何？
• RQ4 自回归模型在特征提取与难度估计中的双重用途在实践中是否有效且有益？
• RQ5 基于意外度采样的训练是否能提升不同超参数设置下的泛化能力与鲁棒性？

主要发现

• 基于意外度触发的模型在TIMIT数据集上相比始终使用大网络的基线模型，FLOPs减少了15%，且性能无下降。
• 在Mini-LibriSpeech上，FLOPs从7.54M（仅使用大网络）降低至6.43M（基于意外度采样），同时WER从25.69%提升至25.80%。
• 在训练和测试阶段均使用基于意外度采样的模型实现了帕累托最优结果，以更低的FLOP成本超越或匹配始终使用大网络的模型。
• 与使用学习控制器的模型相比，该模型表现出更低的方差和对超参数更低的敏感性，表明泛化能力更强且更易于扩展。
• 即使在训练阶段未使用意外度，仅在测试阶段使用意外度的模型仍表现出轻微改进（例如，Mini-LibriSpeech上WER从26.16%降至26.04%），表明具有鲁棒性。
• 消融实验确认，在推理阶段使用意外度采样比仅在训练阶段使用更具影响力，最佳结果在训练和推理阶段均使用意外度时达成。