[论文解读] Tunable Efficient Unitary Neural Networks (EUNN) and their application to RNNs

Jing Li, Yichen Shen+6 more|arXiv (Cornell University)|Dec 15, 2016

Speech Recognition and Synthesis参考文献 22被引用 97

一句话总结

该论文提出了一种新型RNN架构——可调高效酉神经网络（EUNNs），通过每参数$Ó(1)$的计算成本参数化完整的酉矩阵空间，实现了无梯度消失/爆炸的稳定训练。EUNNs在长序列任务（如复制任务、置换MNIST和TIMIT语音预测）中达到最先进性能，其准确率和训练速度均优于LSTM及先前的酉RNN模型。

ABSTRACT

Using unitary (instead of general) matrices in artificial neural networks (ANNs) is a promising way to solve the gradient explosion/vanishing problem, as well as to enable ANNs to learn long-term correlations in the data. This approach appears particularly promising for Recurrent Neural Networks (RNNs). In this work, we present a new architecture for implementing an Efficient Unitary Neural Network (EUNNs); its main advantages can be summarized as follows. Firstly, the representation capacity of the unitary space in an EUNN is fully tunable, ranging from a subspace of SU(N) to the entire unitary space. Secondly, the computational complexity for training an EUNN is merely $\mathcal{O}(1)$ per parameter. Finally, we test the performance of EUNNs on the standard copying task, the pixel-permuted MNIST digit recognition benchmark as well as the Speech Prediction Test (TIMIT). We find that our architecture significantly outperforms both other state-of-the-art unitary RNNs and the LSTM architecture, in terms of the final performance and/or the wall-clock training speed. EUNNs are thus promising alternatives to RNNs and LSTMs for a wide variety of applications.

研究动机与目标

• 通过利用酉权重矩阵来缓解RNN中的梯度消失与爆炸问题，从而在反向传播过程中保持梯度稳定性。
• 克服先前酉RNN模型依赖投影优化或受限子空间所带来的局限性，这些方法计算成本高或表达能力有限。
• 提出对完整酉群的参数化方法，实现从子空间到完整酉空间的可调容量，同时保持计算效率。
• 在长期序列学习基准任务（包括复制任务、像素置换MNIST和TIMIT语音预测）中展示优越性能，参数量更少且训练速度更快。

提出的方法

• 提出一种基于可调结构旋转矩阵乘积的酉矩阵新参数化方法，实现对酉空间$U(N)$或其子空间的完整覆盖。
• 设计网络架构，使得每个参数更新和梯度计算仅需每参数$Ó(1)$次操作，实现线性时间复杂度的训练。
• 实现两种变体：一种为可调式EUNN，用于灵活控制容量；另一种为类似FFT的变体，实现最小参数化与高效近似。
• 采用重参数化策略，避免训练过程中的投影步骤，消除对迭代酉约束的依赖，降低计算开销。
• 通过将标准的隐藏层到隐藏层权重矩阵替换为基于旋转矩阵参数化的酉矩阵，将EUNN应用于循环网络。
• 使用标准反向传播进行训练，通过链式法则计算梯度，其中酉变换的雅可比矩阵利用闭式导数高效计算。

实验结果

研究问题

• RQ1 能否设计一种酉RNN架构，实现对完整酉群$U(N)$的覆盖，而无需依赖基于投影的优化方法？
• RQ2 是否一种每参数计算成本为$Ó(1)$的酉RNN在长序列任务中能实现优于现有方法的训练效率与性能？
• RQ3 能否将酉RNN的表示能力进行调节，以匹配特定任务需求，例如在短期记忆任务中使用低容量，在长期依赖任务中使用高容量？
• RQ4 在真实基准（如TIMIT和置换MNIST）上，EUNN架构在最终准确率和实际训练时间方面与LSTM及其他酉RNN相比表现如何？
• RQ5 在乘积分解中，EUNN架构对不同矩阵排序方式是否具有鲁棒性，同时保持计算效率与对酉空间的完整覆盖？

主要发现

• EUNN架构在前向传播与反向传播中均实现每参数$Ó(1)$的计算成本，相比Wisdom等人（2016）提出的全空间酉RNN方法，效率高出$Ó(\log N)$倍。
• 在复制任务中，EUNN在隐藏层大小为128时达到100%准确率，优于LSTM和先前的酉RNN模型。
• 在像素置换MNIST任务中，EUNN仅用33,000个参数即达到97.5%的测试准确率，显著优于LSTM基线和先前的酉RNN模型。
• 在TIMIT语音预测任务中，全容量EUNN实现51.9的测试MSE，优于LSTM（测试MSE为54.5）及其他酉RNN变体。
• 具有可调容量的EUNN（如128(2)或128(32)）表明，较小的子空间足以应对复制等短期记忆任务，而更复杂的任务（如语音预测）则需要更大的子空间。
• 类似FFT的EUNN变体在参数更少的情况下实现了与全EUNN相当的性能，证明了高效近似在不损失准确率的前提下是可行的。