[论文解读] Teacher-Students Knowledge Distillation for Siamese Trackers

Yuanpei Liu, Xingping Dong+2 more|arXiv (Cornell University)|Jul 24, 2019

Video Surveillance and Tracking Methods参考文献 55被引用 20

一句话总结

本文提出了一种用于孪生追踪器的知识蒸馏框架，将大型且准确的教师追踪器压缩为小型且快速的学生追踪器，同时保持或提升准确性。通过结合单教师蒸馏与学生间知识共享，该方法实现了最高18倍的模型压缩和265 FPS的推理速度，速度提升达3倍，在五个基准测试上保持了最先进性能。

ABSTRACT

In recent years, Siamese network based trackers have significantly advanced the state-of-the-art in real-time tracking. However, state-of-the-art Siamese trackers suffer from high memory cost which restricts their applicability in mobile applications having strict constraints on memory budget. To address this issue, we propose a novel distilled Siamese tracking framework to learn small, fast yet accurate trackers (students), which capture critical knowledge from large Siamese trackers (teachers) by a teacher-students knowledge distillation model. This model is intuitively inspired by a one-teacher vs multi-students learning mechanism, which is the most usual teaching method in the school. In particular, it contains a single teacher-student distillation model and a student-student knowledge sharing mechanism. The first one is designed by a tracking-specific distillation strategy to transfer knowledge from the teacher to students. The later is utilized for mutual learning between students to enable an in-depth knowledge understanding. To the best of our knowledge, we are the first to investigate knowledge distillation for Siamese trackers and propose a distilled Siamese tracking framework. We demonstrate the generality and effectiveness of our framework by conducting a theoretical analysis and extensive empirical evaluations on several popular Siamese trackers. The results on five tracking benchmarks clearly show that the proposed distilled trackers achieve compression rates up to 18$ imes$ and frame-rates of $265$ FPS with speedups of 3$ imes$, while obtaining similar or even slightly improved tracking accuracy.

研究动机与目标

• 解决最先进孪生追踪器的高内存开销问题，以促进其在移动设备和资源受限应用中的部署。
• 开发一种蒸馏孪生追踪框架，将大型教师模型的知识迁移至更小的学生模型。
• 通过学生间相互知识学习，深化理解并提升性能，超越单一蒸馏方法。
• 在不牺牲追踪准确性的前提下，实现显著的模型压缩和推理速度提升。
• 在多种孪生追踪器架构上展示所提蒸馏框架的通用性与有效性。

提出的方法

• 设计一种基于传统课堂教学的单教师对多学生蒸馏机制，即一个大型教师模型指导多个小型学生模型。
• 实施一种针对追踪任务的蒸馏策略，将教师模型的特征图和分类得分知识迁移至学生网络。
• 引入学生间知识共享机制，实现学生追踪器之间的相互学习，增强特征表示与泛化能力。
• 使用真实标签与教师生成的软标签联合训练学生模型，损失函数平衡分类任务与特征对齐。
• 通过特征级蒸馏，将教师模型中间层的知识迁移至学生模型对应层，保留空间与语义信息。
• 通过剪枝与量化优化学生模型的推理效率，同时借助知识蒸馏维持性能。

实验结果

研究问题

• RQ1 知识蒸馏能否在不降低追踪准确性的情况下，有效将大型孪生追踪器压缩为更小、更快的模型？
• RQ2 与仅使用单教师蒸馏相比，引入学生间知识共享如何提升性能？
• RQ3 所提框架在不同孪生追踪器架构上，能在多大程度上减少模型尺寸并提升推理速度？
• RQ4 蒸馏后的追踪器在标准基准测试上是否保持或超越原始教师模型的准确性？
• RQ5 该蒸馏框架在多种孪生追踪器变体和追踪基准上的泛化能力如何？

主要发现

• 蒸馏后的追踪器相比原始教师模型最高实现18倍的模型压缩，显著降低内存占用。
• 所提框架使推理速度最高达到265 FPS，相比原始模型提升3倍。
• 在五个标准追踪基准上，蒸馏追踪器的性能与教师模型相当或略有超越。
• 学生间知识共享机制有助于提升特征表示能力与鲁棒性，从而实现更好的泛化性能。
• 该蒸馏框架在多种孪生追踪器架构上均有效，展现出强大的泛化能力与可迁移性。
• 该方法在遮挡、运动模糊等复杂追踪条件下仍保持高准确性，证实了其实际鲁棒性。