[论文解读] PageNet: Page Boundary Extraction in Historical Handwritten Documents

Chris Tensmeyer, Brian Davis+3 more|arXiv (Cornell University)|Sep 5, 2017

Handwritten Text Recognition Techniques参考文献 23被引用 4

一句话总结

PageNet 是一种深度学习系统，采用全卷积网络（FCN）对历史手写文档中的主要页面区域进行像素级分割，随后通过后处理提取四边形边界。它在多个数据集上实现了超过 94% 的平均交并比（mIoU），接近人类水平性能，即使在处理复杂边框噪声（如叠加文档）时也表现良好。

ABSTRACT

When digitizing a document into an image, it is common to include a surrounding border region to visually indicate that the entire document is present in the image. However, this border should be removed prior to automated processing. In this work, we present a deep learning based system, PageNet, which identifies the main page region in an image in order to segment content from both textual and non-textual border noise. In PageNet, a Fully Convolutional Network obtains a pixel-wise segmentation which is post-processed into the output quadrilateral region. We evaluate PageNet on 4 collections of historical handwritten documents and obtain over 94% mean intersection over union on all datasets and approach human performance on 2 of these collections. Additionally, we show that PageNet can segment documents that are overlayed on top of other documents.

研究动机与目标

• 为解决数字化历史手写文档中边框噪声对下游文档分析任务的干扰问题。
• 开发一种稳健的端到端系统，实现对主要页面区域的分割，且不依赖于对版式、文本大小或边框一致性的假设。
• 实现高精度的页面边界检测，且在多样化的历史文档集合中具备良好的泛化能力。
• 在复杂场景（如叠加文档和非均匀边框噪声）中展示系统的有效性。

提出的方法

• 训练全卷积网络（FCN）以预测像素级分割掩码，指示主要页面区域。
• 对 FCN 输出进行后处理，提取紧密包围主要页面内容的四边形边界。
• 系统在多个历史文档集合中手动标注的四边形区域上进行训练。
• 该方法不假设固定边框位置、一致的文本大小或笔直的页面边缘，从而对多种噪声类型具备鲁棒性。
• 模型在不同数据集之间泛化良好，包括训练期间未见的数据集。
• 系统能够识别并仅分割最上层的文档，当一个文档叠加在另一个文档之上时，正确排除底层文档。

实验结果

研究问题

• RQ1 基于深度学习的系统是否能在不依赖对版式或噪声结构强假设的前提下，实现对历史手写文档中高精度页面边界检测？
• RQ2 所提出系统的性能与人工标注及传统分割方法（如 GrabCut）相比如何？
• RQ3 该系统是否能泛化到与训练数据不同的文档集合？
• RQ4 该系统在处理复杂边框噪声（如叠加文档或部分可见的邻近页面）方面的有效性如何？

主要发现

• PageNet 在主测试集上实现了 97.4% 的平均交并比（mIoU），接近人工标注的一致性（98.3% mIoU）。
• 在所有五个评估数据集中，PageNet 的 mIoU 均超过 94%，表明其在多样化历史文档集合中具备强大的泛化能力。
• 与基线方法（包括 GrabCut 和平均四边形估计）相比，该系统表现更优，尤其在书脊边缘和文本伪影等复杂噪声类型上。
• 在叠加场景中，PageNet 能够成功仅分割最上层文档，正确排除底层文档作为主页面区域。
• 人工标注在相同任务上的一致性较高（98.3% mIoU），同一标注者重新标注的结果为 99.0% mIoU，表明角点标注本身存在固有的模糊性。
• 系统泛化能力良好，CBAD 数据集的不同划分之间性能下降极小，表明无显著过拟合。