[论文解读] Real-time End-to-End Video Text Spotter with Contrastive Representation Learning

Wejia Wu, Zhuang Li+6 more|arXiv (Cornell University)|Jul 18, 2022

Handwritten Text Recognition Techniques被引用 4

一句话总结

CoText 是一种实时端到端视频文本检测模型，通过对比表示学习统一实现文本检测、跟踪与识别，以捕捉长时序依赖关系。在 ICDAR2015video 上，其推理速度达到 41.0 FPS，IDF1 达到 72.0%，相比之前的方法在准确率上提升 10.5%，在速度上提升 32.0 FPS。

ABSTRACT

Video text spotting(VTS) is the task that requires simultaneously detecting, tracking and recognizing text in the video. Existing video text spotting methods typically develop sophisticated pipelines and multiple models, which is not friend for real-time applications. Here we propose a real-time end-to-end video text spotter with Contrastive Representation learning (CoText). Our contributions are three-fold: 1) CoText simultaneously address the three tasks (e.g., text detection, tracking, recognition) in a real-time end-to-end trainable framework. 2) With contrastive learning, CoText models long-range dependencies and learning temporal information across multiple frames. 3) A simple, lightweight architecture is designed for effective and accurate performance, including GPU-parallel detection post-processing, CTC-based recognition head with Masked RoI. Extensive experiments show the superiority of our method. Especially, CoText achieves an video text spotting IDF1 of 72.0% at 41.0 FPS on ICDAR2015video, with 10.5% and 32.0 FPS improvement the previous best method. The code can be found at github.com/weijiawu/CoText.

研究动机与目标

• 开发一种实时端到端视频文本检测系统，将检测、跟踪与识别统一于单一框架中。
• 解决现有多阶段流水线计算开销大、不适用于实时部署的局限性。
• 通过对比表示学习改进视频序列中长时序依赖关系的建模能力。
• 设计一种轻量化高效架构，在保持高准确率的同时实现高速推理。

提出的方法

• CoText 采用对比学习策略，学习跨视频帧的鲁棒时序表征，增强长时序依赖关系的建模能力。
• 采用基于 CTC 的识别头并结合 Masked RoI，通过聚焦于相关文本区域提升识别准确率。
• 采用 GPU 并行检测后处理模块，加速推理过程，实现实时性能。
• 模型采用端到端训练方式，统一优化检测、跟踪与识别任务。
• 在帧级特征上应用时序对比学习，对齐正样本片段（如跨帧相同文本）并分离负样本。
• 轻量化设计显著降低 FLOPs 和参数量，支持在资源受限设备上部署。

实验结果

研究问题

• RQ1 统一的端到端框架能否在保持实时推理的前提下，有效替代多阶段流水线用于视频文本检测？
• RQ2 对比表示学习在视频文本检测中如何改善时序依赖关系的建模？
• RQ3 轻量化架构在实现实时推理速度的同时，能在多大程度上保持高准确率？
• RQ4 Masked RoI 与基于 CTC 的识别方法在联合检测-跟踪-识别设置下对识别性能有何影响？

主要发现

• CoText 在 ICDAR2015video 基准测试中取得 72.0% 的 IDF1，相比之前最佳方法提升 10.5%。
• CoText 在 ICDAR2015video 上推理速度达到 41.0 FPS，相比之前最先进方法提升 32.0 FPS。
• 对比学习的使用显著提升了性能，通过建模帧间长时序一致性实现。
• GPU 并行后处理模块有效加速检测过程，且未牺牲准确性。
• 轻量化架构在保持高准确率的同时实现实时推理，适用于实际部署。
• Masked RoI 与基于 CTC 的识别方法结合，显著提升了识别的鲁棒性与精度。