[论文解读] Towards Extremely Compact RNNs for Video Recognition with Fully Decomposed Hierarchical Tucker Structure

Miao Yin, Siyu Liao+3 more|arXiv (Cornell University)|Apr 12, 2021

Tensor decomposition and applications参考文献 27被引用 5

一句话总结

该论文提出了一种全分解分层 Tucker 长短期记忆网络（FDHT-LSTM），这是一种新型的循环神经网络架构，通过在输入到隐藏层和隐藏到隐藏层的权重矩阵中应用分层 Tucker 张量分解，实现了极强的模型压缩。该方法在视频识别任务中仅使用 3,132 至 8,808 个参数即达到最先进水平的准确率，与基线 LSTM 相比，参数量最多减少 10,711 倍，同时准确率最高提升 12.7%。

ABSTRACT

Recurrent Neural Networks (RNNs) have been widely used in sequence analysis and modeling. However, when processing high-dimensional data, RNNs typically require very large model sizes, thereby bringing a series of deployment challenges. Although various prior works have been proposed to reduce the RNN model sizes, executing RNN models in resource-restricted environments is still a very challenging problem. In this paper, we propose to develop extremely compact RNN models with fully decomposed hierarchical Tucker (FDHT) structure. The HT decomposition does not only provide much higher storage cost reduction than the other tensor decomposition approaches but also brings better accuracy performance improvement for the compact RNN models. Meanwhile, unlike the existing tensor decomposition-based methods that can only decompose the input-to-hidden layer of RNNs, our proposed fully decomposition approach enables the comprehensive compression for the entire RNN models with maintaining very high accuracy. Our experimental results on several popular video recognition datasets show that our proposed fully decomposed hierarchical tucker-based LSTM (FDHT-LSTM) is extremely compact and highly efficient. To the best of our knowledge, FDHT-LSTM, for the first time, consistently achieves very high accuracy with only few thousand parameters (3,132 to 8,808) on different datasets. Compared with the state-of-the-art compressed RNN models, such as TT-LSTM, TR-LSTM and BT-LSTM, our FDHT-LSTM simultaneously enjoys both order-of-magnitude (3,985x to 10,711x) fewer parameters and significant accuracy improvement (0.6% to 12.7%).

研究动机与目标

• 为解决在资源受限环境中部署大型 RNN 模型的挑战，特别是针对高维视频数据。
• 克服先前张量分解方法仅压缩输入到隐藏层的局限，使隐藏到隐藏权重也得以压缩。
• 开发一种在实现极端参数压缩的同时保持高准确率的压缩方法。
• 探究分层 Tucker 分解是否在压缩效率和准确率保持方面优于现有张量分解格式（如 TT、TR、BT）。

提出的方法

• FDHT-LSTM 模型对 LSTM 的输入到隐藏层和隐藏到隐藏层权重矩阵均应用分层 Tucker（HT）分解，实现模型的完整压缩。
• 将输入和输出特征向量重塑为 4D 张量（例如 8×8×8×8），以支持多维张量分解。
• 采用分层结构，叶节点秩设为 9（UCF11）或 14（HMDB51），非叶节点秩设为 6 或 12，以控制模型容量与压缩程度。
• 对所有循环权重矩阵（包括遗忘门、输入门、细胞门和输出门权重）应用分解，确保端到端的压缩。
• 使用 ADAM 优化器配合 L2 正则化（0.0001）和 dropout（0.5）进行训练，并采用预训练的 Inception-V3 作为前端特征提取器。
• 分层 Tucker 结构在存储成本降低和准确率方面优于 TT、TR 或 BT 分解。

实验结果

研究问题

• RQ1 在 RNN 中对输入到隐藏层和隐藏到隐藏层权重矩阵进行完整分解，是否能在不损失准确率的前提下实现显著的参数压缩？
• RQ2 在视频识别任务中，分层 Tucker 分解是否在压缩比和准确率方面优于现有的张量分解方法（如 TT、TR、BT）？
• RQ3 能否将 RNN 模型压缩至 10,000 个以下参数，同时在视频识别基准上保持高准确率？
• RQ4 与最先进的压缩 RNN 模型（如 TT-LSTM 和 TR-LSTM）相比，所提出的 FDHT-LSTM 在参数量和测试准确率方面表现如何？

主要发现

• 在 UCF11 数据集上，FDHT-LSTM 以仅 22M 个总参数实现了 98.4% 的 top-1 准确率，优于 TR-LSTM（93.8%）和原始 LSTM（92.3%）。
• 在 UCF11 上，与基线 LSTM 相比，FDHT-LSTM 最多实现 10,711 倍的参数压缩，同时在最佳先前结果基础上准确率提升 3.8%。
• 在 HMDB51 上，FDHT-LSTM 以 22M 个总参数实现 64.2% 的准确率，性能与 Two-Stream I3D（66.4%）相当，但参数量显著更少。
• 在两个数据集上，FDHT-LSTM 的模型大小相比 TR-LSTM 减少了 2.5 倍，尽管使用了相同的预训练 CNN 前端。
• 在 UCF11 上，FDHT-LSTM 相较于 TR-LSTM 实现了 12.7% 的准确率提升，证明其在极端压缩下仍具备优越的准确率保持能力。
• 据作者所知，FDHT-LSTM 是首个在视频识别任务中仅使用 3,132 至 8,808 个参数即实现超过 98% 准确率的 RNN 模型。