[论文解读] PatentSBERTa: A Deep NLP based Hybrid Model for Patent Distance and Classification using Augmented SBERT

Hamid Bekamiri, Daniel S. Hain+1 more|arXiv (Cornell University)|Mar 22, 2021

Intellectual Property and Patents被引用 13

一句话总结

该论文提出 PatentSBERTa，一种混合深度 NLP 模型，利用增强的 Sentence-BERT 从专利权利要求中计算专利与专利（p2p）之间的相似性，实现高效的语义搜索和多标签专利分类。在 140 万项专利的 663 个 CPC 子类层级上，该模型实现了 54% 的准确率和 F1 > 66%，优于当前最先进方法。

ABSTRACT

This study provides an efficient approach for using text data to calculate patent-to-patent (p2p) technological similarity, and presents a hybrid framework for leveraging the resulting p2p similarity for applications such as semantic search and automated patent classification. We create embeddings using Sentence-BERT (SBERT) based on patent claims. We leverage SBERTs efficiency in creating embedding distance measures to map p2p similarity in large sets of patent data. We deploy our framework for classification with a simple Nearest Neighbors (KNN) model that predicts Cooperative Patent Classification (CPC) of a patent based on the class assignment of the K patents with the highest p2p similarity. We thereby validate that the p2p similarity captures their technological features in terms of CPC overlap, and at the same demonstrate the usefulness of this approach for automatic patent classification based on text data. Furthermore, the presented classification framework is simple and the results easy to interpret and evaluate by end-users. In the out-of-sample model validation, we are able to perform a multi-label prediction of all assigned CPC classes on the subclass (663) level on 1,492,294 patents with an accuracy of 54% and F1 score > 66%, which suggests that our model outperforms the current state-of-the-art in text-based multi-label and multi-class patent classification. We furthermore discuss the applicability of the presented framework for semantic IP search, patent landscaping, and technology intelligence. We finally point towards a future research agenda for leveraging multi-source patent embeddings, their appropriateness across applications, as well as to improve and validate patent embeddings by creating domain-expert curated Semantic Textual Similarity (STS) benchmark datasets.

研究动机与目标

• 开发一种高效、可解释的框架，用于使用 NLP 测量专利与专利（p2p）之间的技术相似性。
• 通过 p2p 相似性和基于 KNN 的方法，实现在专利分类中的自动化多标签分类。
• 通过可扩展的基于文本的相似性建模，提升语义搜索、专利布局分析和科技情报能力。
• 为未来多源专利嵌入和领域专家校准的 STS 基准数据集研究奠定基础。

提出的方法

• 在专利权利要求上微调预训练的 SBERT 模型，以生成上下文相关的句子嵌入。
• 使用 SBERT 嵌入之间的余弦距离计算 p2p 相似性，以量化技术相似性。
• 使用最相似的 K 项专利作为 K-最近邻（KNN）分类器，预测 CPC 类别。
• 采用混合框架，其中 p2p 相似性同时驱动语义搜索和多标签分类。
• 利用 SBERT 的高效性，在大规模专利语料库中实现可扩展的相似性计算。
• 通过领域特定的微调增强 SBERT，以提高与权利要求中技术特征的对齐能力。

实验结果

研究问题

• RQ1 基于 SBERT 的嵌入是否能仅通过权利要求文本有效捕捉专利之间的技术相似性？
• RQ2 基于 p2p 相似性的 KNN 分类器在多标签专利分类中的表现，与最先进方法相比如何？
• RQ3 p2p 相似性与实际 CPC 分类重叠的相关程度如何？
• RQ4 该框架能否高效扩展至大规模专利数据集（例如 140 万项专利）？
• RQ5 该方法在语义专利搜索和科技情报应用中的潜力如何？

主要发现

• 该模型在 1,492,294 项专利的 CPC 子类多标签预测中实现了 54% 的准确率和 F1 > 66%。
• 基于 SBERT 嵌入的 p2p 相似性度量与实际 CPC 重叠高度相关，验证了其技术相关性。
• 基于 KNN 的分类框架简单、可解释且在大规模专利分类中表现有效。
• 该方法在基于文本的多分类和多标签专利分类中优于现有最先进方法。
• 该框架具有可扩展性，适用于语义专利搜索和科技格局分析等应用。
• 本研究识别出对领域专家校准的 STS 基准数据集的需求，以进一步验证和改进专利嵌入模型。