[论文解读] The Newspaper Navigator Dataset: Extracting And Analyzing Visual Content from 16 Million Historic Newspaper Pages in Chronicling America

Benjamin Charles Germain Lee, Jaime Mears+7 more|arXiv (Cornell University)|May 4, 2020

Video Analysis and Summarization参考文献 41被引用 7

一句话总结

本文介绍了Newspaper Navigator数据集，这是目前公开可用的规模最大的历史美国报纸视觉内容数据集，涵盖Chronicling America中1630万张历史报纸页面的视觉内容提取。作者基于Beyond Words计划提供的10,000个众包标注的微调深度学习模型，提取并分类了七类视觉内容——标题、照片、插图、地图、漫画、社论漫画和广告，同时结合OCR生成的标题和图像嵌入向量，所有内容均以公共领域形式发布，允许无限制重用。

ABSTRACT

Chronicling America is a product of the National Digital Newspaper Program, a partnership between the Library of Congress and the National Endowment for the Humanities to digitize historic newspapers. Over 16 million pages of historic American newspapers have been digitized for Chronicling America to date, complete with high-resolution images and machine-readable METS/ALTO OCR. Of considerable interest to Chronicling America users is a semantified corpus, complete with extracted visual content and headlines. To accomplish this, we introduce a visual content recognition model trained on bounding box annotations of photographs, illustrations, maps, comics, and editorial cartoons collected as part of the Library of Congress's Beyond Words crowdsourcing initiative and augmented with additional annotations including those of headlines and advertisements. We describe our pipeline that utilizes this deep learning model to extract 7 classes of visual content: headlines, photographs, illustrations, maps, comics, editorial cartoons, and advertisements, complete with textual content such as captions derived from the METS/ALTO OCR, as well as image embeddings for fast image similarity querying. We report the results of running the pipeline on 16.3 million pages from the Chronicling America corpus and describe the resulting Newspaper Navigator dataset, the largest dataset of extracted visual content from historic newspapers ever produced. The Newspaper Navigator dataset, finetuned visual content recognition model, and all source code are placed in the public domain for unrestricted re-use.

研究动机与目标

• 为解决当前历史报纸中视觉内容缺乏可扩展、结构化的访问方式，而研究人员只能依赖关键词或手动搜索的问题。
• 创建一个大规模、语义丰富的视觉内容数据集，涵盖Chronicling America中1630万张数字化报纸页面的视觉内容。
• 通过提取并组织标题、图像和广告及其相关文本元数据，推动数字人文研究的新形式。
• 通过将微调后的视觉内容识别模型及全部源代码公开发布于公共领域，支持公众参与与学术探究。
• 展示将众包标注与深度学习相结合在报纸档案文化遗产应用中的价值。

提出的方法

• 基于Beyond Words众包计划提供的10,000个经验证的边界框标注，训练深度学习目标检测模型，涵盖照片、插图、地图、漫画、社论漫画、标题和广告等类别。
• 扩展了标注流程，加入OCR校正与标题转录，构建高质量的视觉内容识别训练数据集。
• 将微调后的模型应用于1630万张Chronicling America报纸页面，提取并分类七类视觉内容，附带边界框信息。
• 从每个边界框内的METS/ALTO OCR数据中提取文本内容，并生成图像嵌入向量，以支持快速相似性搜索与检索。
• 设计可扩展的推理流水线，处理完整语料库，支持按出版日期和区域过滤，以提升模型泛化能力。
• 将训练好的模型、数据集及所有源代码以公共领域形式发布，支持无限制重用与进一步开发。

实验结果

研究问题

• RQ1 基于众包标注训练的深度学习模型，能否准确提取并分类历史报纸中多样的视觉内容类型？
• RQ2 在大规模报纸档案中，如何系统性地从OCR和图像数据中提取结构化元数据（如标题和图像嵌入）？
• RQ3 训练数据多样性对模型泛化能力的影响如何，尤其是在19世纪前半叶报纸中视觉内容有限的情况下？
• RQ4 公共开放的历史报纸视觉内容数据集在多大程度上能推动数字人文与公共史学研究的新形式？
• RQ5 自动化视觉内容提取在多大程度上能提升探索性搜索与历史报纸的访问体验，超越基于关键词的方法？

主要发现

• Newspaper Navigator数据集包含1789年至1963年间来自47个美国州、华盛顿特区和波多黎各的1630万张报纸页面，实现了全面的视觉内容提取。
• 数据集包含七类不同的视觉内容类型——标题、照片、插图、地图、漫画、社论漫画和广告，每类均附带OCR生成的标题和图像嵌入向量。
• 视觉内容识别模型在Beyond Words训练集上表现出高精度，并成功扩展至处理全部1630万页语料库。
• 该数据集支持新型研究形式，例如研究新闻周期可见性的区域差异、照片复制模式以及特定视觉内容类型在地理上的传播。
• 模型与数据集已公开发布，无任何限制，支持在数字人文、教育、公共史学和创意计算等应用中的重用。
• 未来可通过在1875年之前页面（占语料库10.4%）上进行微调，以及利用Beyond Words项目中10,000个经验证的OCR校正结果训练OCR校正模型，进一步提升性能。