[论文解读] Neural Speed Reading with Structural-Jump-LSTM

Christian Hansen|arXiv (Cornell University)|Mar 20, 2019

Topic Modeling被引用 16

一句话总结

该论文提出Structural-Jump-LSTM，这是首个结合动态词级跳过与基于标点符号跳跃的神经速读模型，可在不损失准确率的前提下减少FLOP使用量。该模型在IMDB和DBPedia数据集上实现了最高达7.0倍的FLOP减少，同时保持或提升了普通LSTM的准确率。

ABSTRACT

Recurrent neural networks (RNNs) can model natural language by sequentially 'reading' input tokens and outputting a distributed representation of each token. Due to the sequential nature of RNNs, inference time is linearly dependent on the input length, and all inputs are read regardless of their importance. Efforts to speed up this inference, known as 'neural speed reading', either ignore or skim over part of the input. We present Structural-Jump-LSTM: the first neural speed reading model to both skip and jump text during inference. The model consists of a standard LSTM and two agents: one capable of skipping single words when reading, and one capable of exploiting punctuation structure (sub-sentence separators (,:), sentence end symbols (.!?), or end of text markers) to jump ahead after reading a word. A comprehensive experimental evaluation of our model against all five state-of-the-art neural reading models shows that Structural-Jump-LSTM achieves the best overall floating point operations (FLOP) reduction (hence is faster), while keeping the same accuracy or even improving it compared to a vanilla LSTM that reads the whole text.

研究动机与目标

• 开发一种神经速读模型，以在推理过程中降低计算成本，同时不降低模型准确率。
• 在循环神经网络中实现词级跳过与结构感知跳跃，以实现更高效的文本处理。
• 基于语言结构（如标点符号）动态确定跳过与跳跃点，而非依赖固定预算或启发式规则。
• 在多样化的NLP基准测试中，相较于现有速读模型，在FLOP减少与准确率保持方面均表现更优。

提出的方法

• 引入两个智能体：一个跳过智能体，在读取词语后决定是否跳过该词；一个跳跃智能体，利用标点符号确定下一步跳转的位置。
• 利用标点符号标记（如.!?;,:）定义动态间隔的跳跃，跳转至下一个子句分隔符、句末或文本末尾。
• 以标准LSTM作为核心序列编码器，仅对未被跳过的词语进行状态更新。
• 采用强化学习框架训练跳过与跳跃智能体，以同时优化准确率与FLOP减少。
• 在反向传播过程中，采用可微的Gumbel-Softmax采样策略处理跳过与跳跃的离散决策。
• 将是否跳过或跳跃视为随机动作，从而实现端到端训练与基于梯度的优化。

实验结果

研究问题

• RQ1 神经速读模型能否同时利用结构线索实现词级跳过与重要性较低文本段落的跳跃？
• RQ2 结合词级跳过与基于标点的跳跃，是否能比现有方法实现更大的FLOP减少，同时保持或提升准确率？
• RQ3 在FLOP减少与准确率方面，Structural-Jump-LSTM与当前最先进速读模型相比表现如何？
• RQ4 该模型能否在文本复杂度与结构多样的各类NLP任务中实现良好泛化？
• RQ5 与固定预算或分块跳跃方法相比，采用动态结构化跳跃是否能提升训练稳定性和推理效率？

主要发现

• 在IMDB与DBPedia数据集中，Structural-Jump-LSTM实现了最高达7.0倍的FLOP减少，同时保持与普通LSTM相同或更高的准确率。
• 在AG News数据集中，该模型实现了2.4倍的FLOP减少，并在准确率上比普通LSTM提升了0.003。
• 在CBT-NE数据集中，FLOPs减少了4.1倍，准确率提升0.010；在CBT-CN数据集中，FLOPs减少了3.9倍，准确率提升0.007。
• 在IMDB数据集中，该模型跳过了70.7%的词语，跳跃了19.7%的文本，显著缩短了有效阅读长度。
• 在所有基准测试中，Structural-Jump-LSTM在FLOP减少与准确率方面均优于全部五种最先进速读模型。
• 结果表明，基于语言结构的动态跳过与跳跃结合，相比固定预算或分块方法，能实现更优的效率与效果。