[论文解读] What is the right way to represent document images?

Gabriela Csurka, Diane Larlus+2 more|arXiv (Cornell University)|Mar 3, 2016

Advanced Image and Video Retrieval Techniques参考文献 32被引用 7

一句话总结

该论文对三种文档图像表示方法——浅层特征（如RunLength、Fisher Vector）、深度卷积神经网络（CNN）特征以及混合架构——在分类、聚类和检索任务中进行了基准测试。结果表明，当领域差异较小时，深度特征表现优于其他方法；但在存在较大领域差异时，经过PCA降维的Fisher Vector特征由于对版面变化和长宽比变化具有更强的鲁棒性，泛化能力更优。

ABSTRACT

In this article we study the problem of document image representation based on visual features. We propose a comprehensive experimental study that compares three types of visual document image representations: (1) traditional so-called shallow features, such as the RunLength and the Fisher-Vector descriptors, (2) deep features based on Convolutional Neural Networks, and (3) features extracted from hybrid architectures that take inspiration from the two previous ones. We evaluate these features in several tasks (i.e. classification, clustering, and retrieval) and in different setups (e.g. domain transfer) using several public and in-house datasets. Our results show that deep features generally outperform other types of features when there is no domain shift and the new task is closely related to the one used to train the model. However, when a large domain or task shift is present, the Fisher-Vector shallow features generalize better and often obtain the best results.

研究动机与目标

• 评估并比较三种文档图像表示方法：浅层特征（RunLength、Fisher Vector）、深度CNN特征以及混合架构。
• 评估这些特征在分类、聚类和检索等多任务中的性能表现。
• 研究特征在不同数据集和任务之间的可迁移性，特别是在存在领域差异时的表现。
• 确定混合架构是否能在浅层特征的效率与深度模型的性能之间提供实际的折中方案。
• 基于数据集相似性和任务需求，为选择最优表示方法提供实证指导。

提出的方法

• 使用RunLength编码和带有空间金字塔池化的Fisher Vector描述符提取浅层特征。
• 通过微调预训练的卷积神经网络（如GoogLeNet、VGG）从多个网络层中提取深度激活特征。
• 通过将浅层特征（如FV256）与可学习层结合，构建混合架构，实现在保留可解释性的同时支持端到端训练。
• 应用PCA对Fisher Vector维度进行降维（如FV256+PCA），以提升效率和泛化能力。
• 在公开数据集（RVL-CDIP、CLEF-IP）和内部数据集（IH1、IH2、IH3）上，采用标准协议评估特征，其中控制了领域差异。
• 在不同任务和数据集上开展消融研究，以分析泛化能力和可迁移性。

实验结果

研究问题

• RQ1 当不存在领域差异时，深度CNN特征是否在文档图像分类任务中始终优于浅层和混合特征？
• RQ2 与纯浅层或深度特征相比，混合架构在不同数据集和任务上的泛化能力如何？
• RQ3 在何种条件下，经过PCA降维的Fisher Vector特征会优于深度CNN特征？
• RQ4 领域差异（如版面、长宽比或类别分布的变化）如何影响不同类型特征的性能？
• RQ5 混合架构是否能在文档图像表示中实现性能与训练成本之间的有利权衡？

主要发现

• 当不存在领域差异时，深度CNN特征（如CNN-G-i4e）在分类、聚类和检索任务中均表现最佳。
• 混合架构的性能接近深度CNN，但训练成本显著降低，因此在资源受限环境下是极具吸引力的替代方案。
• 在存在较大领域差异的情况下，特别是当类内变异性较高或长宽比发生变化时，FV256+PCA始终优于深度和浅层特征。
• 对于版面几何特征至关重要的数据集（如IH2中具有细粒度版面分类的任务），CNN激活特征（如CNN-A-p5）优于基于FV的特征。
• 在IH3数据集上，该数据集包含细粒度的客户特定文档类别，CNN-G-i4e特征实现了最佳检索结果，尽管相关性常受客户特定差异的影响。
• 在IH2数据集上，5层空间金字塔的RunLength描述符（RL+SP）在聚类和检索任务中优于FV256，表明在版面敏感条件下，简单且具备几何感知能力的浅层特征同样具有竞争力。