[论文解读] The Harvard USPTO Patent Dataset: A Large-Scale, Well-Structured, and Multi-Purpose Corpus of Patent Applications

Mirac Süzgün, Luke Melas-Kyriazi+3 more|arXiv (Cornell University)|Jul 8, 2022

Intellectual Property and Patents被引用 14

一句话总结

哈佛大学美国专利商标局专利数据集（HUPD）是一个大规模、结构良好的语料库，包含450多万份2004年至2018年间提交的英文美国专利申请文件，涵盖发明人提交的原始版本，而非已授权的专利。该数据集支持新型自然语言处理（NLP）任务，如专利授权决策的二分类、多类别技术领域分类、语言建模和摘要生成，利用丰富的结构化元数据和微调后的变换器模型，研究概念漂移与语义随时间的演变。

ABSTRACT

Innovation is a major driver of economic and social development, and information about many kinds of innovation is embedded in semi-structured data from patents and patent applications. Although the impact and novelty of innovations expressed in patent data are difficult to measure through traditional means, ML offers a promising set of techniques for evaluating novelty, summarizing contributions, and embedding semantics. In this paper, we introduce the Harvard USPTO Patent Dataset (HUPD), a large-scale, well-structured, and multi-purpose corpus of English-language patent applications filed to the United States Patent and Trademark Office (USPTO) between 2004 and 2018. With more than 4.5 million patent documents, HUPD is two to three times larger than comparable corpora. Unlike previously proposed patent datasets in NLP, HUPD contains the inventor-submitted versions of patent applications--not the final versions of granted patents--thereby allowing us to study patentability at the time of filing using NLP methods for the first time. It is also novel in its inclusion of rich structured metadata alongside the text of patent filings: By providing each application's metadata along with all of its text fields, the dataset enables researchers to perform new sets of NLP tasks that leverage variation in structured covariates. As a case study on the types of research HUPD makes possible, we introduce a new task to the NLP community--namely, binary classification of patent decisions. We additionally show the structured metadata provided in the dataset enables us to conduct explicit studies of concept shifts for this task. Finally, we demonstrate how HUPD can be used for three additional tasks: multi-class classification of patent subject areas, language modeling, and summarization.

研究动机与目标

• 通过创建涵盖专利申请全生命周期的公开数据集，解决自然语言处理（NLP）领域中缺乏大规模、结构良好且多用途专利语料库的问题。
• 通过提供发明人提交的申请文件预授权版本（包括原始权利要求和说明书），推动新型NLP研究。
• 通过将34个结构化元数据字段（如申请日、审查员、IPC分类代码）与全文内容相结合，支持多任务NLP研究。
• 通过微调后的变换器模型，促进对专利语言和科技类别中概念漂移与时间演化的研究。
• 通过基于该数据集构建的NLP工具，赋能独立发明人和中小企业，提升专利申请质量。

提出的方法

• 该数据集从原始美国专利商标局（USPTO）公开数据中构建，每份专利申请提取并结构化了34个字段，包括标题、摘要、权利要求、说明书、申请日、审查员以及IPC分类代码等。
• 对文本字段进行了预处理和规范化，以确保一致性，所有数据均源自2004年至2018年间提交的实用新型专利申请的预授权版本。
• 在数据集上训练了微调后的变换器模型（如DistilRoBERTa、T5-Small），以生成下游NLP任务所需的上下文嵌入表示。
• 对嵌入向量应用了降维技术（主成分分析PCA和均匀邻域嵌入UMAP），以可视化专利语言在不同技术类别中的语义聚类与时间演变。
• 引入了一项新型二分类任务，利用文本和元数据作为输入特征，预测申请时的专利授权可能性。
• 该数据集支持基于IPC代码的多类别专利主题分类、语言建模以及生成式摘要任务，相关模型均在HUPD上进行了微调。

实验结果

研究问题

• RQ1 仅基于申请时的预授权文本和元数据，NLP模型能否准确预测专利申请是否会被授权？
• RQ2 专利语言的语义表征如何随时间演变？在嵌入空间中能否检测到概念漂移的证据？
• RQ3 结构化元数据（如审查员、IPC代码）在多大程度上能提升专利分类和分配预测等NLP任务的性能？
• RQ4 微调后的变换器模型能否有效捕捉并表征不同技术领域中专利申请的语义多样性？
• RQ5 丰富元数据与全文数据的整合，如何推动新型NLP应用的发展，以提升专利申请的质量与可及性？

主要发现

• HUPD包含超过450万份2004年至2018年的英文专利申请，规模是以往NLP专利数据集的两到三倍。
• 每份申请均包含34个结构化数据字段，支持超越纯文本的多维分析，如时间序列分析和审查员层面的差异研究。
• 微调后的变换器模型（如DistilRoBERTa、T5-Small）在嵌入空间中生成了有意义的专利申请语义聚类，相似IPC类别在空间中紧密聚集。
• 使用UMAP生成的可视化结果表明，G06Q（数据处理系统）类别的语义表征随时间演变，逐渐靠近H04L和H04W（通信系统）类别，表明存在与技术融合一致的协变量漂移。
• 该数据集支持一项新型二分类任务，用于在申请时预测专利授权结果，结合文本与元数据特征后性能显著提升。
• 包含预授权版本使研究人员能够研究申请时的可专利性与创新质量，避免因授权后修改带来的偏差。