[论文解读] Symmetrical Linguistic Feature Distillation with CLIP for Scene Text Recognition

Zixiao Wang, Hongtao Xie+4 more|arXiv (Cornell University)|Oct 8, 2023

Handwritten Text Recognition TechniquesComputer Science被引用 3

一句话总结

该论文提出CLIP-OCR，一种对称的语言特征蒸馏框架，利用CLIP中的视觉与语言知识进行场景文字识别。通过将CLIP文本编码器反向以构建对称的图像到文本的蒸馏流程，并引入语言一致性损失，CLIP-OCR在六个STR基准上实现了93.8%的平均准确率，标志着首次在STR中实现端到端的语言引导蒸馏。

ABSTRACT

In this paper, we explore the potential of the Contrastive Language-Image Pretraining (CLIP) model in scene text recognition (STR), and establish a novel Symmetrical Linguistic Feature Distillation framework (named CLIP-OCR) to leverage both visual and linguistic knowledge in CLIP. Different from previous CLIP-based methods mainly considering feature generalization on visual encoding, we propose a symmetrical distillation strategy (SDS) that further captures the linguistic knowledge in the CLIP text encoder. By cascading the CLIP image encoder with the reversed CLIP text encoder, a symmetrical structure is built with an image-to-text feature flow that covers not only visual but also linguistic information for distillation.Benefiting from the natural alignment in CLIP, such guidance flow provides a progressive optimization objective from vision to language, which can supervise the STR feature forwarding process layer-by-layer.Besides, a new Linguistic Consistency Loss (LCL) is proposed to enhance the linguistic capability by considering second-order statistics during the optimization. Overall, CLIP-OCR is the first to design a smooth transition between image and text for the STR task.Extensive experiments demonstrate the effectiveness of CLIP-OCR with 93.8% average accuracy on six popular STR benchmarks.Code will be available at https://github.com/wzx99/CLIPOCR.

研究动机与目标

• 解决基于CLIP的场景文字识别模型中语言知识利用不足的问题。
• 通过构建对称蒸馏流程，实现在视觉与语言之间的双向知识迁移。
• 在低质量或复杂背景图像等挑战性条件下，提升识别的鲁棒性。
• 设计一种蒸馏框架，有效将CLIP文本编码器中的语言先验传递至识别解码器。
• 利用CLIP内在的视觉-语言对齐特性，构建渐进式、逐层优化目标。

提出的方法

• 提出对称蒸馏策略（SDS），将CLIP图像编码器与反向CLIP文本编码器连接，形成对称的图像到文本特征流。
• 将真实文本作为输入送入反向CLIP文本编码器，为识别解码器生成精确的语言监督信号。
• 引入语言一致性损失（LCL），通过对齐隐藏特征的二阶统计量，增强语言知识的学习。
• 级联CLIP图像编码器与反向文本编码器，构建从视觉特征到语言表征的渐进式蒸馏路径。
• 利用CLIP预训练的对比对齐机制，确保蒸馏过程中图像与文本特征之间保持自然对应。
• 通过保持与标准32×128输入分辨率及小批量训练的兼容性，适配CLIP模型的特征空间以适用于STR。

实验结果

研究问题

• RQ1 能否通过知识蒸馏有效利用CLIP文本编码器中的语言知识进行场景文字识别？
• RQ2 如何构建对称蒸馏流程，以实现在STR中视觉与语言之间的双向知识迁移？
• RQ3 对齐特征的二阶统计量是否能提升识别解码器中语言表征的学习效果？
• RQ4 CLIP在视觉-语言对齐方面的归纳偏置是否能在STR中常见的小分辨率输入下得以保持？
• RQ5 是否存在一种方法，可构建结合视觉与语言监督的渐进式、逐层优化目标？

主要发现

• CLIP-OCR在六个标准场景文字识别基准上实现了93.8%的平均准确率，优于先前基于CLIP的方法。
• 模型在低质量、复杂背景及风格化文本图像上表现出卓越的鲁棒性，定性结果已验证此优势。
• 语言一致性损失（LCL）显著提升了模型处理文本中字符级与词级变化的能力。
• CLIP在32×128输入分辨率下仍保持强对齐能力，验证了其在STR中应用的适用性及极低计算开销。
• 对称蒸馏流程实现了有效的语言引导，且无需额外微调或辅助任务。
• CLIP-OCR提出一种新颖的、单向的图像到文本特征流，实现了STR中渐进式、端到端的蒸馏。