[论文解读] Multi-Task Handwritten Document Layout Analysis

Lorenzo Quirós|arXiv (Cornell University)|Jun 22, 2018

Handwritten Text Recognition Techniques参考文献 33被引用 28

一句话总结

本文提出了一种多任务深度学习框架，通过单一卷积神经网络联合执行手写文档中的基线检测、区域分割和区域标注。该方法在IAM数据集上取得了85.1%的F1分数，在Bozen数据集上取得了97.4%的F1分数，展示了在所有任务中均表现出色的性能，且无需针对特定任务进行微调或超参数调优。

ABSTRACT

Document Layout Analysis is a fundamental step in Handwritten Text Processing systems, from the extraction of the text lines to the type of zone it belongs to. We present a system based on artificial neural networks which is able to determine not only the baselines of text lines present in the document, but also performs geometric and logic layout analysis of the document. Experiments in three different datasets demonstrate the potential of the method and show competitive results with respect to state-of-the-art methods.

研究动机与目标

• 解决现有文档版面分析（DLA）系统将文本行检测、区域分割和标注视为独立任务所带来的局限性。
• 通过集成逻辑与几何版面分析，提供上下文感知的版面信息，从而提升HTR和KWS系统的性能。
• 开发一种统一的深度学习模型，能够从单张文档图像中同时预测基线、语义区域和区域标签。
• 通过在多任务学习框架中共享网络参数，最小化各任务间的性能退化。
• 通过减少误差传播并提升上下文理解能力，实现高效且准确的版面分析，适用于下游HTP系统。

提出的方法

• 使用单一深度卷积神经网络（CNN）联合预测三个输出：文本行基线、语义分割掩码和区域标签。
• 采用多任务学习设置，利用共享编码器特征同时预测基线坐标、像素级区域分割和区域类别标签。
• 在CNN输出后应用简单的轮廓与基线检测算法，以优化网络输出的基线预测结果。
• 对语义分割和区域标注任务采用像素级监督，基线任务则提供实例级别的真实标注。
• 通过联合损失函数端到端训练模型，平衡基线检测、分割准确率和分类性能。
• 利用数据增强和批量归一化技术，提升模型在多样化文档版面与书写风格下的泛化能力。

实验结果

研究问题

• RQ1 单一深度神经网络能否以统一方式有效完成基线检测、区域分割和区域标注？
• RQ2 在这三项任务之间采用多任务学习，是否能在不造成显著性能下降的情况下，优于单任务基线方法？
• RQ3 该模型在具有不同版面结构与书写风格的多样化手写文档数据集上的表现如何？
• RQ4 逻辑与几何版面分析的集成在多大程度上提升了下游HTP系统的性能？
• RQ5 该模型是否能在无需针对特定任务进行配置调整或超参数调优的情况下，跨数据集取得具有竞争力的结果？

主要发现

• 所提出的多任务模型在IAM数据集上的基线检测F1得分为85.1%，优于以往最先进方法。
• 在Bozen数据集上，模型的基线检测F1得分为97.4%，与先前工作中报告的最佳单任务方法相比无统计学差异。
• 该集成模型在区域分割和标注任务中也保持了高水平性能，在Bozen测试集上的平均交并比（mIoU）达到84.5%。
• 当仅在单一任务上进行训练时，推理时间减少了68%（从每页1.13秒降至0.36秒），展现出显著的计算效率。
• 错误分析显示，主要失败案例为密集区域中合并的基线或缺失行，尤其在表格或复杂布局中更为明显。
• 当模型在多个任务上联合训练时，未观察到显著的性能下降，证实了在不同目标间有效共享参数。