[论文解读] Text Extraction and Retrieval from Smartphone Screenshots: Building a Repository for Life in Media

Agnese Chiatti, Mu-Jung Cho+8 more|arXiv (Cornell University)|Jan 4, 2018

Web Data Mining and Analysis参考文献 13被引用 3

一句话总结

本文提出了一套完整的端到端工作流程，通过使用OpenCV进行图像预处理并结合LSTM增强的Tesseract OCR技术，从智能手机截图中提取和检索文本，实现了74%的字符级准确率。该系统通过定制的垂直搜索引擎实现高效索引与搜索，为基于媒体生活数据的行为与健康研究提供了可扩展的解决方案。

ABSTRACT

Daily engagement in life experiences is increasingly interwoven with mobile device use. Screen capture at the scale of seconds is being used in behavioral studies and to implement "just-in-time" health interventions. The increasing psychological breadth of digital information will continue to make the actual screens that people view a preferred if not required source of data about life experiences. Effective and efficient Information Extraction and Retrieval from digital screenshots is a crucial prerequisite to successful use of screen data. In this paper, we present the experimental workflow we exploited to: (i) pre-process a unique collection of screen captures, (ii) extract unstructured text embedded in the images, (iii) organize image text and metadata based on a structured schema, (iv) index the resulting document collection, and (v) allow for Image Retrieval through a dedicated vertical search engine application. The adopted procedure integrates different open source libraries for traditional image processing, Optical Character Recognition (OCR), and Image Retrieval. Our aim is to assess whether and how state-of-the-art methodologies can be applied to this novel data set. We show how combining OpenCV-based pre-processing modules with a Long short-term memory (LSTM) based release of Tesseract OCR, without ad hoc training, led to a 74% character-level accuracy of the extracted text. Further, we used the processed repository as baseline for a dedicated Image Retrieval system, for the immediate use and application for behavioral and prevention scientists. We discuss issues of Text Information Extraction and Retrieval that are particular to the screenshot image case and suggest important future work.

研究动机与目标

• 开发一种可扩展的端到端工作流程，用于从智能手机截图中提取非结构化文本，以支持行为与健康研究。
• 评估最先进的OCR与图像处理技术在新型真实世界移动设备截图数据集上的有效性。
• 构建一个结构化、可搜索的截图数据仓库，集成提取的文本与元数据，以支持纵向行为分析。
• 通过优化的预处理与OCR工作流程，解决截图特有的挑战，如混合字体、图标和嵌入式图形。
• 为行为科学家与公共卫生研究人员的需求量身定制一个垂直可搜索的图像检索系统。

提出的方法

• 使用基于OpenCV的模块对截图进行预处理，以提升图像质量并隔离文本区域。
• 应用Tesseract OCR 4.0版本，采用基于LSTM的行识别模型，以提升字符与单词识别性能。
• 将元数据（如时间戳、设备类型）整合到结构化模式中，以增强提取的文本信息。
• 使用自定义倒排索引对处理后的文档集合进行索引，以实现高效的基于文本的图像检索。
• 构建一个垂直搜索引擎应用程序，支持基于文本的查询与元数据过滤，实现对相关截图的快速访问。
• 使用13,172张截图的标注真实数据集，通过字符级与词级准确率指标评估性能。

实验结果

研究问题

• RQ1 最先进的OCR与图像处理技术是否能在具有多样化布局与字体的真实世界智能手机截图中实现高文本提取准确率？
• RQ2 与早期版本相比，Tesseract 4.0中集成的基于LSTM的行识别模型在截图数据上的OCR性能提升程度如何？
• RQ3 在存在噪声、图标与混合图形内容的情况下，图像预处理步骤在多大程度上提升了OCR准确率？
• RQ4 人工转录错误对OCR准确率评估的影响有多大？其相对影响与技术限制相比如何？
• RQ5 基于提取的文本与元数据构建的专用图像检索系统，是否能有效支持数字生活体验的行为科学研究？

主要发现

• OpenCV预处理与基于LSTM的Tesseract 4.0结合使用，在无需特定领域微调的情况下，实现了74%的字符级准确率。
• Tesseract 4.0在词与字符识别方面优于Tesseract 3.03，且处理时间无显著差异，表明其在效率与准确率方面均有提升。
• 真实数据集中的人工转录错误对性能下降有显著影响，纠正这些错误带来的准确率提升幅度与技术优化相当。
• 图像预处理显著减少了噪声，并改善了复杂布局中（如含图标与混合背景）文本区域的定位。
• 检索系统成功实现了基于文本的快速截图访问，证明其在行为与公共卫生研究中的可行性。
• 未来改进应聚焦于针对特定领域字体与用户特定文本模式微调OCR模型，同时减少人工在真实数据生成中的参与。