[论文解读] Understanding and representing the semantics of large structured documents

Muhammad Mahbubur Rahman, Tim Finin|arXiv (Cornell University)|Jul 24, 2018

Semantic Web and Ontologies参考文献 7被引用 3

一句话总结

本文提出了一种基于深度学习的文档本体论，用于从大型结构化文档（如学术论文和RFP）中自动提取通用语义结构和领域特定概念。通过使用变分自编码器（VAE）和卷积自编码器（CAE）提取通用结构，以及使用LDA结合单字、双字和短语模型提取语义概念，该方法实现了高质量的无监督语义注释，且与文档类别具有强相关性。

ABSTRACT

Understanding large, structured documents like scholarly articles, requests for proposals or business reports is a complex and difficult task. It involves discovering a document's overall purpose and subject(s), understanding the function and meaning of its sections and subsections, and extracting low level entities and facts about them. In this research, we present a deep learning based document ontology to capture the general purpose semantic structure and domain specific semantic concepts from a large number of academic articles and business documents. The ontology is able to describe different functional parts of a document, which can be used to enhance semantic indexing for a better understanding by human beings and machines. We evaluate our models through extensive experiments on datasets of scholarly articles from arXiv and Request for Proposal documents.

研究动机与目标

• 开发一种自动化的无监督方法，用于发现大型多主题文档（如学术文章和RFP）的语义结构。
• 构建一种文档本体论，以捕捉通用功能部分（如引言、结果）和领域特定的语义概念。
• 通过自动化注释，提升语义索引、基于内容的问答系统以及对复杂文档的机器理解能力。
• 通过在大规模文档语料上应用深度学习，克服手动构建本体论的挑战。
• 评估不同NLP技术（VAE、CAE和LDA变体）在语义表示和概念发现方面的有效性。

提出的方法

• 在段落级嵌入上训练变分自编码器（VAE）和卷积自编码器（CAE），以学习文档的通用语义结构。
• 应用潜在狄利克雷分布（LDA）并使用三种词典类型：单字、双字和短语，以提取领域特定的语义概念。
• 采用过滤策略，保留出现在20%至10%训练段落中的术语，最终得到10万个术语的词典。
• 生成具有不同主题数和遍历次数的主题模型，并将概率最高的术语选为每个段落的语义概念。
• 使用t-SNE可视化学习到的嵌入，以评估聚类质量和流形学习能力。
• 在arXiv论文和RFP文档上评估模型，比较不同LDA配置和文档类型下的性能。

实验结果

研究问题

• RQ1 深度自编码器能否有效学习大型结构化文档（如研究论文和RFP）的通用语义结构？
• RQ2 在单字、双字和短语模型中，哪种LDA变体能生成更合理且连贯的领域特定语义概念？
• RQ3 提取的语义概念在多大程度上与已知的文档类别（如arXiv主题分类）相关？
• RQ4 VAE和CAE模型学习到的嵌入在多大程度上能捕捉段落之间的语义相似性和功能关系？
• RQ5 所提出的本体论能否实现有效的语义注释，并提升下游任务（如基于内容的检索和问答）的性能？

主要发现

• 基于双字的LDA模型在生成段落语义意义明确且连贯的主题词方面优于单字和短语模型。
• 观察到LDA提取的顶级语义术语与原始arXiv主题分类之间存在强相关性，表明其高度的相关性和准确性。
• VAE和CAE模型成功学习到嵌入空间中的低维流形，实现了对相似文档段落的有效聚类。
• 该系统在多种领域（包括计算机科学、数学、核理论和天体物理学）中表现出稳健性，语义概念发现一致。
• 嵌入可视化显示，尽管RFP文档的段落标题稀疏，但仍形成可辨别的聚类，表明即使在标题有限的情况下，语义结构仍可被学习。
• 本体论和注释流程在无监督方式下有效捕捉了功能角色（如引言、结果）和领域特定概念（如“相位”、“磁重连”、“深度学习”）。