[论文解读] Towards Practical Lipreading with Distilled and Efficient Models

Pingchuan Ma, Brais Martínez+2 more|arXiv (Cornell University)|Jul 13, 2020

Multimodal Machine Learning Applications参考文献 39被引用 5

一句话总结

本文提出了一种结合新型深度可分离时间卷积网络（DS-TCN）的知识蒸馏框架，以构建高效且高性能的唇读模型。通过使用逐步简化的教师模型进行序列蒸馏，作者在LRW（88.5%）和LRW-1000（46.6%）上实现了新的SOTA准确率，同时相比之前的SOTA模型，参数量减少了3.9倍，FLOPs降低了8.2倍。

ABSTRACT

Lipreading has witnessed a lot of progress due to the resurgence of neural networks. Recent works have placed emphasis on aspects such as improving performance by finding the optimal architecture or improving generalization. However, there is still a significant gap between the current methodologies and the requirements for an effective deployment of lipreading in practical scenarios. In this work, we propose a series of innovations that significantly bridge that gap: first, we raise the state-of-the-art performance by a wide margin on LRW and LRW-1000 to 88.5% and 46.6%, respectively using self-distillation. Secondly, we propose a series of architectural changes, including a novel Depthwise Separable Temporal Convolutional Network (DS-TCN) head, that slashes the computational cost to a fraction of the (already quite efficient) original model. Thirdly, we show that knowledge distillation is a very effective tool for recovering performance of the lightweight models. This results in a range of models with different accuracy-efficiency trade-offs. However, our most promising lightweight models are on par with the current state-of-the-art while showing a reduction of 8.2x and 3.9x in terms of computational cost and number of parameters, respectively, which we hope will enable the deployment of lipreading models in practical applications.

研究动机与目标

• 通过降低计算成本，弥合高性能唇读模型与实际部署之间的差距。
• 通过知识蒸馏提升轻量化模型的性能，同时不牺牲准确率。
• 设计一种新型高效头部架构（DS-TCN），以减少时间建模中的FLOPs与参数量。
• 证明从中间容量教师模型进行序列蒸馏，优于使用完整架构教师模型的标准蒸馏方法。
• 通过高效模型压缩，实现资源受限设备上高准确率唇读系统的部署。

提出的方法

• 应用自蒸馏以提升LRW与LRW-1000上的性能，实现新的SOTA准确率。
• 提出一种深度可分离时间卷积网络（DS-TCN），用深度可分离卷积替代标准卷积，以减少FLOPs与参数量。
• 将ResNet-18主干网络替换为ShuffleNet v2（带宽度乘数β），以进一步减小模型尺寸与计算量。
• 实施一种序列蒸馏策略，采用教师-学生模型链式结构，其中每个后续教师模型均为前一个学生模型的简化版本。
• 使用中间容量模型作为教师，以弥合架构差距，提升知识迁移效率。
• 在LRW与LRW-1000数据集上训练模型，使用3D卷积进行空间特征提取，并通过MS-TCN或DS-TCN头部实现时间建模。

实验结果

研究问题

• RQ1 知识蒸馏是否能显著提升轻量化唇读模型的准确率，同时不增加计算成本？
• RQ2 与使用单一高容量教师模型的标准蒸馏相比，使用中间容量教师模型进行序列蒸馏的效率如何？
• RQ3 基于深度可分离卷积的时间网络（DS-TCN）在保持性能的前提下，能在多大程度上减少FLOPs与参数量？
• RQ4 像ShuffleNet v2（带宽度乘数β）这样的高效主干网络是否能与DS-TCN有效结合，实现在低推理成本下的高准确率？
• RQ5 在轻量化唇读模型中应用蒸馏时，模型效率（FLOPs、参数量）与准确率之间的权衡如何？

主要发现

• 所提模型在LRW上达到88.5%的top-1准确率，为新SOTA，且未增加计算成本。
• 在LRW-1000上，模型准确率达到46.6%，同样为新SOTA，展现出显著的性能提升。
• 最高效的模型（ShuffleNet v2 0.5× + DS-TCN）在LRW上实现79.9%准确率，仅需0.58G FLOPs与290万参数，相比之前SOTA减少17.8倍FLOPs与12.5倍参数。
• 采用ShuffleNet v2（1×）+ DS-TCN的模型在蒸馏后于LRW上达到40.4%准确率，与之前SOTA持平，但FLOPs减少8.2倍，参数量减少3.9倍。
• 从中间容量教师模型进行序列蒸馏可提升性能，尤其对轻量化模型更为显著。
• 在LRW-1000上，最佳轻量化模型（ShuffleNet v2 0.5× + DS-TCN）实现40.2%准确率，相比之前SOTA，参数量减少22.9倍，FLOPs减少18.8倍。