[论文解读] Towards Binary-Valued Gates for Robust LSTM Training

Zhuohan Li, Di He+5 more|arXiv (Cornell University)|Jun 8, 2018

Topic Modeling参考文献 41被引用 37

一句话总结

本文提出 G²-LSTM，一种使用 Gumbel-Softmax 估计器将 LSTM 门输出推向二值化值（0 或 1）的训练方法，从而提升模型的可解释性与鲁棒性。尽管门的表征能力有所降低，该模型在性能上仍保持相当或更优，并在低精度和低秩近似下展现出更优的泛化能力与可压缩性，门值清晰地与语言边界对齐。

ABSTRACT

Long Short-Term Memory (LSTM) is one of the most widely used recurrent structures in sequence modeling. It aims to use gates to control information flow (e.g., whether to skip some information or not) in the recurrent computations, although its practical implementation based on soft gates only partially achieves this goal. In this paper, we propose a new way for LSTM training, which pushes the output values of the gates towards 0 or 1. By doing so, we can better control the information flow: the gates are mostly open or closed, instead of in a middle state, which makes the results more interpretable. Empirical studies show that (1) Although it seems that we restrict the model capacity, there is no performance drop: we achieve better or comparable performances due to its better generalization ability; (2) The outputs of gates are not sensitive to their inputs: we can easily compress the LSTM unit in multiple ways, e.g., low-rank approximation and low-precision approximation. The compressed models are even better than the baseline models without compression.

研究动机与目标

• 为解决标准 LSTM 门缺乏可解释性与鲁棒性的问题，其门输出常产生模糊的中间值（如 ~0.5），而非明确的开/关决策。
• 通过训练门位于 Sigmoid 函数的平坦区域，实现模型泛化能力的提升，该区域对应损失曲面中稳定、鲁棒的极小值点。
• 通过使门参数对低精度和低秩近似不敏感，实现高效模型压缩。
• 开发一种训练方法，使门行为更具语言学可解释性，例如遗忘功能词或从句边界。

提出的方法

• 利用 Gumbel-Softmax 估计器，可微地近似从门输出 logit 中采样伯努利分布，从而实现通过离散门决策的反向传播。
• 使用标准反向传播训练 LSTM 模型，但采用 Gumbel-Softmax 近似后的门值，以在优化过程中促使输出集中于 0 或 1 附近。
• 应用温度调度策略在训练过程中增强门输出的锐化程度，促进收敛至二值状态。
• 将所得的 G²-LSTM 模型作为低精度与低秩压缩技术的基础。
• 通过直方图分析与案例研究，评估门激活模式在时间步上的注意力类似行为。

实验结果

研究问题

• RQ1 将 LSTM 门训练为输出接近 0 或 1 的值，是否能在不造成性能下降的前提下提升模型的可解释性与泛化能力？
• RQ2 门输出的二值化是否能增强 LSTM 模型在低精度与低秩近似等参数压缩技术下的鲁棒性？
• RQ3 G²-LSTM 中学习到的门值是否与有意义的语言结构对齐，例如从句边界或功能词的抑制？
• RQ4 基于 Gumbel-Softmax 的训练方法是否有效推动门输出趋近 Sigmoid 函数的极值区域？

主要发现

• 尽管将门输出限制在接近 0 或接近 1 的值，G²-LSTM 在语言建模与机器翻译任务上的性能仍优于或等同于标准 LSTM。
• 在 IWSLT14 德语到英语翻译任务中，G²-LSTM 在低秩为 64 的近似下仍保持困惑度 56.0，而基线模型的困惑度上升至 65.5，恶化了 24%。
• 对于机器翻译任务，G²-LSTM 在低秩为 16 的压缩下，翻译质量与全精度基线模型相当，展现出对压缩的强鲁棒性。
• 门值的直方图显示，G²-LSTM 的门值集中于 0 或 1 附近，而标准 LSTM 的门值则均匀分布在 0.5 附近。
• 案例研究表明，G²-LSTM 的输入门对内容词（如 'wrong'）保持高值，而对功能词与从句边界处的遗忘门值较低，表明其具有有意义的语言学行为。