[论文解读] TKD: Temporal Knowledge Distillation for Active Perception

Mohammad Farhadi, Yezhou Yang|arXiv (Cornell University)|Mar 4, 2019

Advanced Neural Network Applications参考文献 47被引用 9

一句话总结

TKD 提出了一种时间知识蒸馏框架，通过基于LSTM的关键帧选择和教师模型约束损失函数，将重型目标检测模型中的动态、上下文感知知识迁移至轻量化学生模型。该方法在保持接近原始模型精度的同时，实现了约220 FPS的实时推理，尤其在室内与室外等域自适应场景中表现优异。

ABSTRACT

Deep neural networks based methods have been proved to achieve outstanding performance on object detection and classification tasks. Despite significant performance improvement, due to the deep structures, they still require prohibitive runtime to process images and maintain the highest possible performance for real-time applications. Observing the phenomenon that human vision system (HVS) relies heavily on the temporal dependencies among frames from the visual input to conduct recognition efficiently, we propose a novel framework dubbed as TKD: temporal knowledge distillation. This framework distills the temporal knowledge from a heavy neural networks based model over selected video frames (the perception of the moments) to a light-weight model. To enable the distillation, we put forward two novel procedures: 1) an Long-short Term Memory (LSTM) based key frame selection method; and 2) a novel teacher-bounded loss design. To validate, we conduct comprehensive empirical evaluations using different object detection methods over multiple datasets including Youtube-Objects and Hollywood scene dataset. Our results show consistent improvement in accuracy-speed trad-offs for object detection over the frames of the dynamic scene, compare to other modern object recognition methods.

研究动机与目标

• 解决深度神经网络在实时机器人感知中计算成本高、推理速度慢的问题。
• 借鉴人类视觉系统适应机制，利用视频序列中的时间依赖性，提升效率与精度。
• 使轻量化模型能够在不重新训练的情况下，动态适应变化的视觉域（如室内与室外环境）。
• 设计一种保留时间上下文信息、减少学生模型训练期间误报数量的知识蒸馏方法。
• 实现适用于嵌入式与移动机器人系统的高精度-速度权衡。

提出的方法

• 基于长短期记忆网络（LSTM）的关键帧选择模块，识别适合蒸馏的显著帧，重点关注场景切换与环境变化。
• 提出一种新型教师模型约束损失函数，通过经验调优将超参数λ设为0.4，以实现精确率与召回率的最佳平衡。
• 框架支持端到端训练，将原始模型（教师）的时间上下文与外观分布知识迁移至学生模型。
• 学生模型仅在选定的关键帧上进行训练，显著降低计算负载，同时保持识别性能。
• 损失函数计算高效，执行时间恒定，不同于基于非极大值抑制（NMS）的方法，后者执行时间随检测目标数量线性增长。
• 该方法支持域自适应：在未重新训练的情况下，于新一集电视剧视频上测试，模型精确率相比基线学生模型提升了6%。

实验结果

研究问题

• RQ1 时间知识蒸馏能否改善移动机器人实时目标检测中的精度-速度权衡？
• RQ2 如何有效利用视频序列中的时间依赖性以提升轻量化模型的性能？
• RQ3 轻量化模型能否通过重型原始模型的知识，实现对新视觉域（如从室内到室外）的动态适应？
• RQ4 何种损失函数设计可实现快速、稳定且高精度的蒸馏，同时避免产生过多误报？
• RQ5 基于场景变化的关键帧选择如何提升蒸馏效率与模型泛化能力？

主要发现

• TKD 实现了约220帧/秒的吞吐量，使资源受限系统能够实现实时推理。
• 在未重新训练的情况下，于《办公室》电视剧新一集上测试，模型精确率相比基线提升6%，展现出强大的域自适应能力。
• 当λ = 0.4时，教师模型约束损失实现最佳平衡，既避免了过多误报，也防止了对原始模型噪声的过拟合。
• 所提出的损失函数具有恒定计算成本，而Mehta等人基于NMS的损失函数则随检测目标数量线性增长。
• 基于LSTM的关键帧选择相比静态帧选择策略，显著提升了模型稳定性与性能，尤其在场景切换时表现更优。
• TKD在未见物体上保持了高召回率，表明模型在训练域之外具有良好的泛化能力。