[论文解读] One-shot Information Extraction from Document Images using Neuro-Deductive Program Synthesis

Vishal Sunder, Ashwin Srinivasan+3 more|arXiv (Cornell University)|Jun 6, 2019

Handwritten Text Recognition Techniques参考文献 27被引用 7

一句话总结

本文提出了一种神经符号框架，通过结合预训练深度神经网络与神经归纳程序合成，实现从文档图像中进行一次样本的信息抽取。利用单个标注图像和用于逻辑推理的元解释器，系统可合成可重用的逻辑程序，在少量监督下实现高精度，并在相似文档上具有良好泛化能力，同时支持人工介入以优化异常情况。

ABSTRACT

Our interest in this paper is in meeting a rapidly growing industrial demand for information extraction from images of documents such as invoices, bills, receipts etc. In practice users are able to provide a very small number of example images labeled with the information that needs to be extracted. We adopt a novel two-level neuro-deductive, approach where (a) we use pre-trained deep neural networks to populate a relational database with facts about each document-image; and (b) we use a form of deductive reasoning, related to meta-interpretive learning of transition systems to learn extraction programs: Given task-specific transitions defined using the entities and relations identified by the neural detectors and a small number of instances (usually 1, sometimes 2) of images and the desired outputs, a resource-bounded meta-interpreter constructs proofs for the instance(s) via logical deduction; a set of logic programs that extract each desired entity is easily synthesized from such proofs. In most cases a single training example together with a noisy-clone of itself suffices to learn a program-set that generalizes well on test documents, at which time the value of each entity is determined by a majority vote across its program-set. We demonstrate our two-level neuro-deductive approach on publicly available datasets ("Patent" and "Doctor's Bills") and also describe its use in a real-life industrial problem.

研究动机与目标

• 解决工业界在极少标注训练数据下从文档图像中提取结构化信息的挑战。
• 开发一种数据高效的信息抽取方法，使其能从一个或少数几个示例中泛化。
• 通过可解释的逻辑程序，支持人工介入以修正异常情况。
• 整合基于深度学习的视觉理解与符号推理，提升文档理解中的鲁棒性与可解释性。
• 在公开数据集和真实工业应用中验证该框架的实际效果。

提出的方法

• 使用预训练深度神经网络（VisionAPI）从文档图像中检测并提取实体与空间关系，填充到关系型数据库中。
• 使用一组基本关系（如“在...上方”、“在...下方”）和基于视觉与上下文线索推导出的实体类别来表示文档结构。
• 应用资源受限的元解释器，利用元规则与检测到的事实，为特定任务的抽取构建证明。
• 通过元解释学习从这些证明中合成可重用的逻辑程序，使模型能泛化到同类型但未见过的文档。
• 在程序集内通过多数投票机制确定每个提取实体的最终值。
• 引入人工介入机制，通过增加1–2个额外标注样例，对异常情况的程序进行优化，从而提升鲁棒性。

实验结果

研究问题

• RQ1 神经符号系统是否能仅使用一个标注样例，即实现从文档图像中有效的一次样本信息抽取？
• RQ2 通过元解释学习合成的逻辑程序，在同类型但未见过的文档上泛化能力如何？
• RQ3 人工介入修正在多大程度上能提升对异常文档变体的性能？
• RQ4 将深度学习与符号推理相结合，如何提升文档理解中的数据效率与可解释性？
• RQ5 所提出的框架是否能有效应用于真实工业场景中的文档类型，而不仅限于公开基准？

主要发现

• 该系统在仅使用每类文档一个标注样例的情况下，于公开数据集（Patent 和 Doctor’s Bills）上实现了高泛化性能。
• 在大多数情况下，仅需一个训练样例加上一个噪声克隆，即可学习到泛化性能良好的程序集。
• 在多个合成程序之间采用多数投票机制，显著提升了实体抽取的鲁棒性与准确性。
• 通过仅增加一两个额外样例进行人工介入修正，即可在异常情况上实现近乎完美的性能。
• 该方法在工业部署中表现出强大的数据效率与可扩展性，尤其适用于数据收集成本较高的场景。
• 该框架可扩展至其他文档类型（如工程图），表明其具有广泛适用性。