[论文解读] Smart Library: Identifying Books in a Library using Richly Supervised Deep Scene Text Reading

Xiao Yang, Dafang He+5 more|arXiv (Cornell University)|Nov 22, 2016

Music and Audio Processing参考文献 26被引用 7

一句话总结

本文提出了一种基于深度学习的系统，通过利用丰富的场景文本读取技术，实现从书架图像中自动识别书籍，从而实现图书馆藏书的自动化管理。该系统结合基于霍夫变换的书脊分割与双损失CRNN模型进行文本识别，取得了最先进性能，在大规模图书数据库上达到91%的MRR和top-1的90%召回率，显著减少了图书检索中的手动工作量。

ABSTRACT

Physical library collections are valuable and long standing resources for knowledge and learning. However, managing books in a large bookshelf and finding books on it often leads to tedious manual work, especially for large book collections where books might be missing or misplaced. Recently, deep neural models, such as Convolutional Neural Networks (CNN) and Recurrent Neural Networks (RNN) have achieved great success for scene text detection and recognition. Motivated by these recent successes, we aim to investigate their viability in facilitating book management, a task that introduces further challenges including large amounts of cluttered scene text, distortion, and varied lighting conditions. In this paper, we present a library inventory building and retrieval system based on scene text reading methods. We specifically design our scene text recognition model using rich supervision to accelerate training and achieve state-of-the-art performance on several benchmark datasets. Our proposed system has the potential to greatly reduce the amount of human labor required in managing book inventories as well as the space needed to store book information.

研究动机与目标

• 通过自动化图书库存构建与检索，减少大型实体图书馆藏书管理中的手动工作量。
• 利用深度学习解决书脊识别中的挑战，如杂乱、形变和光照不良等问题。
• 证明仅依赖文本检索即可在可扩展性和效率方面优于基于图像的方法。
• 构建一个可扩展的端到端系统，仅使用场景文本信息进行图书识别，避免依赖图书封面图像。
• 在实现场景文本识别最先进性能的同时，通过丰富监督加速训练。

提出的方法

• 开发了一种基于霍夫变换与场景文本显著性检测的书脊分割方法，从杂乱的书架图像中分离出单个书脊。
• 对分割后的书脊应用多方向文本检测，使用最先进的文本定位模型。
• 采用基于CNN与RNN的深度序列标注模型进行文本识别，结合逐时间步分类损失与改进的连接时序分类（CTC）损失，以加速训练并提升准确率。
• 将文本识别结果用作tf-idf加权搜索中的查询关键词，在基于Solr的信息检索系统中定位数据库中的图书。
• 通过MRR、精确率、召回率和召回率@k评估检索性能，以真实书名作为基线，估算性能上限。
• 采用混合处理流程，对书架图像依次进行旋转估计、显著性生成、分割、单词行检测和裁剪区域文本读取，以实现鲁棒的识别效果。

实验结果

研究问题

• RQ1 深度场景文本读取能否有效应用于大型实体图书馆的图书库存管理自动化？
• RQ2 在图书识别方面，基于文本的检索与基于图像的检索在准确率和可扩展性方面有何差异？
• RQ3 丰富的监督信号与双损失训练策略在复杂书脊图像上的文本识别性能提升程度如何？
• RQ4 当使用真实书名作为查询时，基于文本的图书检索性能上限是多少？
• RQ5 在真实书架场景中，图像质量问题（如模糊和小字体）对检索准确率的影响有多大？

主要发现

• 所提出的系统仅使用基于文本的查询，即实现了0.91的平均倒数排名（MRR），在召回率和F1分数方面显著优于先前方法。
• 系统在top-1达到90%的召回率，在前5名结果中达到96.4%的召回率，表明其在超过9,000本图书的大规模数据库中具有强大的检索有效性。
• 即使面对比以往工作（2,300本）大得多的数据库（9,000+本），该系统仍实现了比现有纯文本方法更高的F1分数（0.91 vs. 0.72）。
• 系统性能在面对相似书名、低对比度或模糊的书脊元信息等主要失败原因时依然稳健。
• 采用双损失（逐时间步 + 改进CTC）训练策略，显著加快了收敛速度，并提升了基准数据集上的识别准确率。
• 基于文本的检索减少了对高分辨率图书封面图像的存储与传输需求，使系统对缺乏此类资源的用户更具可访问性与可扩展性。