[论文解读] Simplified Minimal Gated Unit Variations for Recurrent Neural Networks

Joel C. Heck, Fathi M. Salem|arXiv (Cornell University)|Jan 12, 2017

Neural Networks and Applications参考文献 7被引用 9

一句话总结

本文通过简化最小门控单元（MGU）的遗忘门动态方程，提出了三种简化变体——MGU1、MGU2 和 MGU3。这些变体在 MNIST 和 Reuters Newswire 数据集上实现了与原始 MGU 和 GRU 相当或更优的准确率，同时降低了训练成本，其中 MGU2 在两个数据集上均优于原始 MGU。

ABSTRACT

Recurrent neural networks with various types of hidden units have been used to solve a diverse range of problems involving sequence data. Two of the most recent proposals, gated recurrent units (GRU) and minimal gated units (MGU), have shown comparable promising results on example public datasets. In this paper, we introduce three model variants of the minimal gated unit (MGU) which further simplify that design by reducing the number of parameters in the forget-gate dynamic equation. These three model variants, referred to simply as MGU1, MGU2, and MGU3, were tested on sequences generated from the MNIST dataset and from the Reuters Newswire Topics (RNT) dataset. The new models have shown similar accuracy to the MGU model while using fewer parameters and thus lowering training expense. One model variant, namely MGU2, performed better than MGU on the datasets considered, and thus may be used as an alternate to MGU or GRU in recurrent neural networks.

研究动机与目标

• 在保持或提升性能的前提下，减少最小门控单元（MGU）的参数数量。
• 探索在计算成本更低的前提下，保持 GRU 和 MGU 表达能力的简化架构。
• 评估简化复杂度是否能带来更快的训练速度，并在序列建模任务中实现相当或更优的准确率。
• 为循环神经网络在序列学习中的 GRU 和 MGU 提供更高效的替代方案。

提出的方法

• 通过简化原始 MGU 中的遗忘门动态方程，提出三种变体——MGU1、MGU2 和 MGU3。
• 通过架构简化，减少了遗忘门机制中的参数数量。
• 保留了 MGU 的核心门控机制，但去除了冗余或复杂的组件。
• 在 MNIST 和 Reuters Newswire Topics (RNT) 数据集上训练模型，以评估性能和效率。
• 采用标准的 RNN 训练流程，结合时间反向传播和随机梯度下降。
• 从准确率和训练成本两个方面，对比不同变体的模型性能。

实验结果

研究问题

• RQ1 最小门控单元（MGU）能否在不损失性能的前提下进一步简化？
• RQ2 参数减少的 MGU 变体是否能在保持准确率的同时提升训练效率？
• RQ3 简化后的 MGU 变体在序列建模基准上与 GRU 和原始 MGU 相比如何？
• RQ4 门控 RNN 单元中，模型复杂度与性能之间是否存在权衡？

主要发现

• MGU2 在 MNIST 和 Reuters Newswire Topics (RNT) 数据集上均取得了高于原始 MGU 的准确率。
• 所有三种变体——MGU1、MGU2 和 MGU3——均以更少的参数实现了与原始 MGU 相当或更优的准确率。
• 简化后的模型由于参数数量减少，降低了训练开销，提升了计算效率。
• MGU2 在 RNT 数据集上的表现优于原始 MGU 和 GRU，表明其在序列建模方面具有潜在优势。
• 结果表明，对遗忘门机制进行架构简化，可在降低复杂度的同时提升性能。