[论文解读] Neural Speed Reading via Skim-RNN

Minjoon Seo, Sewon Min+2 more|arXiv (Cornell University)|Nov 6, 2017

Topic Modeling参考文献 19被引用 54

一句话总结

Skim-RNN 是一种 RNN 变体，动态地使用更小的 RNN 对不重要的令牌进行随时跳过的输入，在降低计算量的同时维持或提升准确性，推断阶段可控的速度与对 CPU 友好的延迟收益。

ABSTRACT

Inspired by the principles of speed reading, we introduce Skim-RNN, a recurrent neural network (RNN) that dynamically decides to update only a small fraction of the hidden state for relatively unimportant input tokens. Skim-RNN gives computational advantage over an RNN that always updates the entire hidden state. Skim-RNN uses the same input and output interfaces as a standard RNN and can be easily used instead of RNNs in existing models. In our experiments, we show that Skim-RNN can achieve significantly reduced computational cost without losing accuracy compared to standard RNNs across five different natural language tasks. In addition, we demonstrate that the trade-off between accuracy and speed of Skim-RNN can be dynamically controlled during inference time in a stable manner. Our analysis also shows that Skim-RNN running on a single CPU offers lower latency compared to standard RNNs on GPUs.

研究动机与目标

• 通过模仿人类快速阅读的效率来分配对不那么重要令牌的较少计算以实现高效的序列处理。
• 开发一个可与标准 RNN 互换使用的两路径 RNN（大阅读与小跳过）\
• 通过可微重参数化在端到端训练中解决非可微硬决策的问题。
• 在多个人工智能处理任务中展示浮点运算量的减少和具有竞争力的准确性。
• 在推断时显示可调整的 skim 决策以实现动态的速度-准确性权衡。

提出的方法

• 引入 Skim-RNN，具有两个 RNN 单元：一个“大阅读”单元和一个更小的“ skim ”单元，共享相同的隐藏状态。
• 通过对两种选项的 multinomial 使用可微的 Gumbel-softmax 重参数化，在每个时间步做一个硬决策来 skim 还是 read。
• 如果选择 skim，仅用小 RNN 更新隐藏状态的子集，并从前一状态中保留其余维度。
• 通过最小化决策序列的期望损失来训练，使用 Gumbel-softmax 以实现反向传播，并添加鼓励 skim 的惩罚项。
• 通过在训练阶段调节决策阈值和辅助 skim 惩罚项来控制 skim 率和速度。
• Skim-RNN 的输出与标准 RNN 接口兼容，便于在现有模型中替换 RNN。

实验结果

研究问题

• RQ1 Skim-RNN 是否能够在保持或提升 NLP 任务准确性的同时降低计算成本（Flop-R）？
• RQ2 skim 决策对性能的影响如何相对于省略令牌的做法，在实际情形下 skim 是否优于省略？
• RQ3 在推断时能否控制速度与准确性之间的权衡而不破坏训练或推断的稳定性？
• RQ4 在常见的 NLP 负载下，使用 CPU 的 Skim-RNN 是否在延迟方面优于基于 GPU 的标准 RNN？
• RQ5 相对于 LSTM-Jump 与 VCRNN，Skim-RNN 在文本分类和问答基准上的表现如何？

主要发现

• Skim-RNN 在与标准 RNN 及若干基线相比，显著降低浮点运算量并且保持或提高准确性。
• skim 策略往往在速度-准确性权衡上优于跳过令牌的方法，表明对不重要令牌的关注有益。
• 推断时通过控制 skim 阈值可在不重新训练的情况下动态调整速度与准确性。
• 基于 CPU 的 Skim-RNN 在若干数据集上可提供比基于 GPU 的标准 RNN 更低的延迟，突出 CPU 架构部署的实际优势。
• Skim-RNN 在每个时间步都维持输出，便于集成到现有的 RNN 驱动架构中，同时在配置不同下可以实现数倍的速度提升。