[论文解读] Optimization of Transfer Learning for Sign Language Recognition Targeting Mobile Platform

Dhruv Rathi|arXiv (Cornell University)|May 17, 2018

Hand Gesture Recognition Systems被引用 15

一句话总结

本文提出了一种面向移动设备优化的迁移学习系统，用于实时识别美国手语（ASL）字母，使用了27,455张手部手势图像。通过微调预训练的深度学习模型并优化移动端部署，该方法在内存效率高的移动应用上实现了95.03%的准确率，平均推理时间为2.42秒。

ABSTRACT

The target of this research is to experiment, iterate and recommend a system that is successful in recognition of American Sign Language (ASL). It is a challenging as well as an interesting problem that if solved will bring a leap in social and technological aspects alike. In this paper, we propose a real-time recognizer of ASL based on a mobile platform, so that it will have more accessibility and provides an ease of use. The technique implemented is Transfer Learning of new data of Hand gestures for alphabets in ASL to be modelled on various pre-trained high- end models and optimize the best model to run on a mobile platform considering the various limitations of the same during optimization. The data used consists of 27,455 images of 24 alphabets of ASL. The optimized model when ran over a memory-efficient mobile application, provides an accuracy of 95.03% of accurate recognition with an average recognition time of 2.42 seconds. This method ensures considerable discrimination in accuracy and recognition time than the previous research.

研究动机与目标

• 开发一种实时、可部署于移动设备的美国手语（ASL）字母识别系统，以提升聋哑人群的可及性。
• 解决在内存和算力有限的资源受限移动平台部署高精度深度学习模型的挑战。
• 通过在自定义ASL手部手势数据集上微调预训练模型，优化迁移学习，以实现最高准确率和效率。
• 在高识别准确率与低推理延迟之间取得平衡，以适用于实时移动应用。

提出的方法

• 本研究通过使用在ImageNet上预训练的模型初始化深度神经网络，采用迁移学习方法，以利用学习到的分层特征。
• 收集并使用了一个包含27,455张图像的自定义数据集，代表24个ASL字母，用于微调预训练模型。
• 模型优化包括知识蒸馏、剪枝和量化，以减小模型尺寸并降低移动端部署的推理时间。
• 最终模型被部署于内存高效的移动应用程序中，以实现实时推理。
• 性能基于移动平台上准确率和平均推理时间进行评估。
• 对比了多种预训练模型（如MobileNet、DenseNet），以识别最适合移动端部署的最优架构。

实验结果

研究问题

• RQ1 在保持移动端高准确率的前提下，哪种预训练深度学习模型最适合用于ASL手部手势识别的微调？
• RQ2 如何优化迁移学习，以在不牺牲移动端识别准确率的前提下减小模型尺寸和推理时间？
• RQ3 在真实移动应用程序上部署微调后的模型时，可达到的准确率和推理速度水平如何？
• RQ4 与以往工作相比，所提出的系统在ASL识别的准确率和实时性能方面表现如何？
• RQ5 哪些模型压缩技术（如量化、剪枝）在模型效率与识别性能之间实现了最佳平衡？

主要发现

• 在移动端平台上部署后，优化后的模型在ASL字母数据集上实现了95.03%的识别准确率。
• 所有类别上的平均推理时间为2.42秒，证明了其在移动端部署的实时可行性。
• 该系统在移动硬件上的准确率和推理效率方面均优于以往方法。
• 经过优化后，基于MobileNet的模型表现出色，有效平衡了准确率与速度。
• 模型压缩技术（如量化和剪枝）显著减小了模型尺寸，同时保持了高准确率。
• 在自定义ASL数据集上微调预训练模型，相比从零开始训练，带来了显著的性能提升。