[论文解读] You Only Recognize Once: Towards Fast Video Text Spotting

Zhanzhan Cheng, Jing Lu+4 more|arXiv (Cornell University)|Mar 8, 2019

Handwritten Text Recognition Techniques参考文献 64被引用 6

一句话总结

本文提出 YORO，一种快速且鲁棒的视频文本检测框架，通过一种新颖的文本推荐机制，将逐帧识别替换为每条文本流仅进行一次识别。该方法利用时空检测器在多帧中定位文本，并通过一个端到端可训练的推荐模块选择最高质量的文本进行识别，从而在保持SOTA性能的同时，实现71倍的速度提升，并减少低质量文本的干扰。

ABSTRACT

Video text spotting is still an important research topic due to its various real-applications. Previous approaches usually fall into the four-staged pipeline: text detection in individual images, framewisely recognizing localized text regions, tracking text streams and generating final results with complicated post-processing skills, which might suffer from the huge computational cost as well as the interferences of low-quality text. In this paper, we propose a fast and robust video text spotting framework by only recognizing the localized text one-time instead of frame-wisely recognition. Specifically, we first obtain text regions in videos with a well-designed spatial-temporal detector. Then we concentrate on developing a novel text recommender for selecting the highest-quality text from text streams and only recognizing the selected ones. Here, the recommender assembles text tracking, quality scoring and recognition into an end-to-end trainable module, which not only avoids the interferences from low-quality text but also dramatically speeds up the video text spotting process. In addition, we collect a larger scale video text dataset (LSVTD) for promoting the video text spotting community, which contains 100 text videos from 22 different real-life scenarios. Extensive experiments on two public benchmarks show that our method greatly speeds up the recognition process averagely by 71 times compared with the frame-wise manner, and also achieves the remarkable state-of-the-art.

研究动机与目标

• 为解决由于低质量文本区域导致的逐帧视频文本识别计算成本高且不稳定的难题。
• 通过仅对每个追踪到的文本流中的最优质文本进行识别，而非对每一帧都进行识别，从而降低识别开销。
• 通过将追踪、质量评分和识别整合为一个端到端可训练模块，提升鲁棒性和效率。
• 通过发布更大规模的数据集（LSVTD），推动视频文本检测研究，该数据集包含来自22个真实场景的100段视频。

提出的方法

• 设计了一种时空视频文本检测器，利用连续帧之间的时序关系，提升文本召回率。
• 引入了一种文本推荐模块，以端到端可训练的方式联合学习文本追踪、质量评分和识别。
• 质量评分通过弱监督方式学习，优先选择清晰、水平且稳定的文本区域，而非模糊或失真的区域。
• 该框架仅从每个追踪到的文本流中选择最优质文本区域进行识别，大幅减少识别操作次数。
• 通过聚焦于每条文本流仅进行一次识别，避免逐帧识别，显著降低推理时间。
• 收集了一个新的大规模视频文本数据集LSVTD，包含来自22种多样化真实场景的100段视频，以支持基准测试。

实验结果

研究问题

• RQ1 每条文本流仅进行一次识别，是否能在大幅降低计算成本的同时，实现与逐帧识别相当或更优的准确率？
• RQ2 如何有效整合追踪、质量评分和识别，形成一个端到端可训练模块，以提升鲁棒性和效率？
• RQ3 弱监督质量评分机制对过滤低质量文本及提升识别性能有何影响？
• RQ4 与逐帧检测相比，时空检测器在文本定位和召回率方面有何提升？
• RQ5 所提出的框架在IC13和IC15等大规模基准上的表现，相较于现有方法有多大优势？

主要发现

• 所提出的YORO框架在识别处理上相比逐帧识别实现了平均71倍的速度提升，同时保持了高准确率。
• 在IC15基准上，该方法实现了0.69的识别MOTA和0.63的ATA，优于先前的SOTA方法。
• 文本推荐模块通过过滤低质量文本，提升了识别鲁棒性，减少了模糊、失真和光照不良带来的干扰。
• 与逐帧检测相比，时空检测器在召回率上提升了4%，F-measure提升了1.3%，尽管精确率下降了4.3%。
• LSVTD数据集包含来自22个真实场景的100段视频，结果表明，户外和动态场景（如城市道路、监控）仍具挑战性，主要因运动模糊和复杂背景所致。
• 该框架在室内场景（如书店、地铁站）表现最佳，而户外和高动态场景（如火车观看、城市道路）仍具挑战性。