[论文解读] Surprisal-Driven Zoneout

Kamil Rocki, Tomasz Kornuta+1 more|arXiv (Cornell University)|Oct 24, 2016

Anomaly Detection Techniques and Applications参考文献 10被引用 7

一句话总结

本文提出了一种新颖的自适应正则化方法——Surprisal-Driven Zoneout，用于循环神经网络，该方法根据预测惊喜度动态调整Zoneout率：惊喜度越低（置信度越高），Zoneout率越高，从而促进稀疏性和泛化能力。该方法在Hutter Prize Wikipedia（enwik8）数据集上实现了最先进的1.31比特/字符的性能，显著缩小了与高度工程化的压缩方法之间的差距。

ABSTRACT

We propose a novel method of regularization for recurrent neural networks called suprisal-driven zoneout. In this method, states zoneout (maintain their previous value rather than updating), when the suprisal (discrepancy between the last state's prediction and target) is small. Thus regularization is adaptive and input-driven on a per-neuron basis. We demonstrate the effectiveness of this idea by achieving state-of-the-art bits per character of 1.31 on the Hutter Prize Wikipedia dataset, significantly reducing the gap to the best known highly-engineered compression methods.

研究动机与目标

• 为解决RNN中长期依赖学习与短期模式建模之间的平衡挑战，提出一种基于输入的自适应、动态正则化机制。
• 通过在预测高度置信（低惊喜度）时动态抑制神经元激活，减少序列模型中的过拟合与记忆化现象。
• 通过在神经网络确信时鼓励神经元保持非激活状态（即Zone out），提升模型泛化能力与稀疏性，契合最小Kolmogorov复杂度原则。
• 通过基于实时学习进度的神经元级自适应正则化，消除对固定Zoneout率的依赖。

提出的方法

• 引入一种基于前一预测的对数概率与当前输入的惊喜度反馈机制，计算惊喜信号 $ S_t = p_{t-1} - x_t $，用于衡量预测置信度。
• 利用该惊喜信号计算自适应的Zoneout概率 $ z_t = \min(\tau + |S_t \cdot W_y^T|, 1) $，其中惊喜度越高，Zoneout率越低（激活越多）；惊喜度越低，Zoneout率越高。
• 通过伯努利掩码 $ Z_t \sim z_t $ 实现随机Zoneout，其中 $ Z_t = 0 $ 表示单元状态被保留（Zone out），$ Z_t = 1 $ 允许状态更新。
• 将自适应Zoneout整合进LSTM单元更新规则：$ c_t = (1 - f_t \odot Z_t) \odot c_{t-1} + Z_t \odot i_t \odot u_t $，实现动态记忆保留。
• 采用标准LSTM组件（遗忘门、输入门、输出门），但通过引入由惊喜度决定的控制信号 $ s_t $，影响门控与Zoneout决策。
• 使用单层LSTM，隐藏单元数为4000，通过Adadelta优化器在长度为10000的序列上进行全程反向传播（full BPTT），并应用归一化与Xavier初始化。

实验结果

研究问题

• RQ1 基于预测惊喜度的自适应正则化是否能提升RNN的泛化能力并减少记忆化？
• RQ2 根据学习进度动态调整每个神经元的Zoneout率，是否能生成更稀疏、更高效的表示？
• RQ3 Surprisal-Driven Zoneout是否能在序列压缩基准测试中超越固定率Zoneout及其他SOTA模型？
• RQ4 该方法在具有嵌套句法结构的数据集（如enwik8和Linux源代码）上的表现如何？
• RQ5 该机制是否能使神经元在无需显式分层设计的情况下，实现任意时间尺度的操作？

主要发现

• Surprisal-Driven Zoneout在Hutter Prize Wikipedia（enwik8）数据集上实现了1.31比特/字符的SOTA性能，优于先前方法（如SF-LSTM为1.37，RHN为1.32）。
• 在Linux源代码数据集上，该方法达到1.18 BPC，显著优于SF-LSTM（1.38），并在复杂嵌套句法模式上展现出强大的泛化能力。
• 与标准LSTM及非自适应Zoneout相比，该方法产生了更稀疏的激活模式，平均激活率为每时间步0.092，表明神经元使用更少，效率更高。
• 可视化结果表明，自适应Zoneout扩展了单个神经元的有效记忆跨度，使其在预测置信时可长期保持非激活状态。
• 模型能有效捕捉嵌套结构（如$<timestamp>$或重复的空白字符块），通过在这些模式下完全Zone out，减少对学习到的门控机制的依赖。
• 该方法无需动态推理或推理时自适应调整，保持与标准推理流程的兼容性，从而可与静态方法进行公平比较。