[论文解读] Skip RNN: Learning to Skip State Updates in Recurrent Neural Networks

Víctor Campos, Brendan Jou+3 more|arXiv (Cornell University)|Aug 22, 2017

Topic Modeling参考文献 50被引用 38

一句话总结

Skip RNN 在循环神经网络中引入了一种可学习机制，使模型在推理过程中能够跳过状态更新，从而减少序列计算并提高训练效率。通过引入惩罚项进行训练，模型能够在保持或提升性能的同时最小化更新次数，适用于视频动作识别和情感分析等序列任务。

ABSTRACT

Recurrent Neural Networks (RNNs) continue to show outstanding performance in sequence modeling tasks. However, training RNNs on long sequences often face challenges like slow inference, vanishing gradients and difficulty in capturing long term dependencies. In backpropagation through time settings, these issues are tightly coupled with the large, sequential computational graph resulting from unfolding the RNN in time. We introduce the Skip RNN model which extends existing RNN models by learning to skip state updates and shortens the effective size of the computational graph. This model can also be encouraged to perform fewer state updates through a budget constraint. We evaluate the proposed model on various tasks and show how it can reduce the number of required RNN updates while preserving, and sometimes even improving, the performance of the baseline RNN models. Source code is publicly available at https://imatge-upc.github.io/skiprnn-2017-telecombcn/ .

研究动机与目标

• 解决 RNN 在长序列建模中推理速度慢和梯度消失的挑战。
• 通过跳过状态更新缩短有效计算图，降低计算成本并提高训练稳定性。
• 通过学习判断哪些时间步需要状态更新，实现 RNN 中的自适应计算，且无需额外监督。
• 在训练过程中引入可学习的惩罚项，以控制更新次数，满足计算预算约束。
• 在多种序列任务中实现泛化，包括视频理解、语言建模和时间序列预测。

提出的方法

• 引入一种可学习的门控机制，决定是否更新隐藏状态，或从上一时间步直接复制状态。
• 将跳过机制集成到现有的 RNN 架构（如 LSTM 和 GRU）中，同时保留其内部门控机制。
• 使用通过时间反向传播训练跳过门，损失函数为可微分形式，并包含一个控制更新次数的惩罚项（λ）。
• 应用惩罚项 λ 以鼓励状态更新的稀疏性，使模型在计算预算下运行。
• 在推理阶段采用随机采样策略，跳过概率由可学习门控决定，实现在时间上的条件计算。
• 端到端训练，使用标准 RNN 目标函数，确保所有参数（包括跳过门）通过反向传播进行优化。

实验结果

研究问题

• RQ1 可学习机制是否能在保持或提升序列任务性能的同时减少 RNN 状态更新次数？
• RQ2 在由惩罚超参数 λ 控制的不同计算预算下，Skip RNN 模型的性能表现如何？
• RQ3 模型是否能在无显式监督的情况下学习到有意义的跳过模式，特别是在需要长期依赖的任务中？
• RQ4 在基于视频的任务中，Skip RNN 与启发式序列子采样或随机帧选择相比表现如何？
• RQ5 Skip RNN 是否能在不同 RNN 架构（LSTM 与 GRU）和序列学习任务中实现泛化？

主要发现

• 在 Charades 动作定位任务中，Skip RNN 模型在 λ = 10⁻³ 时达到 mAP 8.61%，且将状态更新次数减少至 41.9 ± 11.3，性能与标准 RNN 相当或更优。
• 在 λ = 10⁻² 时，Skip RNN 将推理 FLOPs 降低至 2.66×10¹¹，同时保持 mAP 为 7.86%，展现出显著的计算节省。
• Skip RNN 在高跳过率下优于随机帧选择和固定跳过基线方法，表明其具备有效的、任务感知的帧选择能力。
• 即使仅使用 RGB 数据而无光流信息，模型也能学习关注相关帧，平均仅进行 41.9 次状态更新，即达到 8.61% 的 mAP。
• 在某些设置下（如低 λ 时，mAP 8.94% vs 8.61%），Skip GRU 表现优于 Skip LSTM，表明不同架构在更新效率上存在特定行为差异。
• 由于有效反向传播路径缩短，模型在训练中保持稳定且收敛更快，即使跳过高达 90% 的更新也无明显影响。