[论文解读] Structured Transforms for Small-Footprint Deep Learning

Vikas Sindhwani, Tara N. Sainath+1 more|arXiv (Cornell University)|Oct 6, 2015

Speech and Audio Processing参考文献 26被引用 102

一句话总结

本文提出了一种统一框架，用于学习具有低位移秩的结构化参数矩阵，以实现在移动设备上高效、紧凑的深度学习。通过利用托普利茨（Toeplitz）、范德蒙德（Vandermonde）和柯西（Cauchy）等结构化变换，该方法在保持优异准确率-紧凑性-速度权衡的同时，加速了推理与训练过程，在关键词检测任务中实现了超过3.5倍的模型压缩，且性能接近最先进水平。

ABSTRACT

We consider the task of building compact deep learning pipelines suitable for deployment on storage and power constrained mobile devices. We propose a unified framework to learn a broad family of structured parameter matrices that are characterized by the notion of low displacement rank. Our structured transforms admit fast function and gradient evaluation, and span a rich range of parameter sharing configurations whose statistical modeling capacity can be explicitly tuned along a continuum from structured to unstructured. Experimental results show that these transforms can significantly accelerate inference and forward/backward passes during training, and offer superior accuracy-compactness-speed tradeoffs in comparison to a number of existing techniques. In keyword spotting applications in mobile speech recognition, our methods are much more effective than standard linear low-rank bottleneck layers and nearly retain the performance of state of the art models, while providing more than 3.5-fold compression.

研究动机与目标

• 为解决在功耗和存储受限的移动设备与可穿戴设备上部署大型深度学习模型的挑战。
• 开发一种统一框架，用于学习结构化参数矩阵，以减小模型尺寸并加速计算。
• 通过位移秩显式调节从结构化到非结构化的统计建模能力。
• 在准确率、压缩率和推理速度方面超越现有技术，如低秩瓶颈、循环矩阵（Circulant）和Fastfood变换。

提出的方法

• 该框架学习具有低秩位移性质的参数矩阵，该性质可实现快速的矩阵-向量乘法和梯度计算。
• 通过统一的代数框架，将托普利茨、范德蒙德、柯西等多种结构化矩阵类统一建模。
• 利用每类矩阵特有的快速算法，实现高效函数与梯度评估，将复杂度从O(mn)降低至O(r(m+n))，其中r为秩。
• 通过位移秩显式控制参数共享，实现从高度结构化到近乎非结构化矩阵的连续过渡。
• 该方法被集成到深度学习流水线中，尤其在全连接层中，用紧凑的结构化矩阵替代密集矩阵。
• 训练采用标准随机优化方法，并使用各层特定的学习率，实现结构化变换的端到端学习。

实验结果

研究问题

• RQ1 在移动深度学习中，具有低位移秩的结构化变换是否能在准确率-紧凑性-速度权衡方面优于标准的低秩瓶颈？
• RQ2 托普利茨、范德蒙德和柯西等结构化矩阵在保持性能的前提下，能在多大程度上减小模型尺寸？
• RQ3 位移秩如何控制结构化变换的建模能力与泛化性能？
• RQ4 在真实移动应用中，结构化变换是否能超越如循环矩阵（Circulant）和Fastfood等专用结构化矩阵？

主要发现

• 位移秩=1的类托普利茨结构变换仅使用3,348个参数，在关键词检测任务中优于秩=16的低秩瓶颈（使用53,568个参数），将误拒率从10.2%降低至8.2%。
• 当位移秩=10时，模型的误拒率降至6.2%，优于更大的秩=32低秩模型（6.8%）
• 最佳结构化变换模型的性能仅比80倍大的全连接模型和3.6倍大的参考模型低0.4%。
• 该方法在分类准确率上与全连接模型和参考模型相差仅0.2%，同时训练速度显著快于标准低秩基线方法。
• 在噪声环境（如cafe0数据集中的0dB babble噪声）下，结构化变换的性能增益依然一致且稳健。