[论文解读] Patent sentiment analysis to highlight patent paragraphs

Markus Endres, Renukswamy Chikkamath+2 more|OPUS (Augsburg University)|Nov 23, 2021

Intellectual Property and Patents被引用 5

一句话总结

本文提出了一种新型多类别数据集，包含15万个经过情感类型（如技术问题、优点、通用语句）标注的专利段落，旨在实现专利段落自动高亮。通过探索性数据分析及基于LSVC等基线机器学习模型的分析，关键类别最高达到97%的F1得分，代码与数据已开源，可推动专利信息检索领域未来在深度学习与领域特定NLP方面的进步。

ABSTRACT

Given a patent document, identifying distinct semantic annotations is an interesting research aspect. Text annotation helps the patent practitioners such as examiners and patent attorneys to quickly identify the key arguments of any invention, successively providing a timely marking of a patent text. In the process of manual patent analysis, to attain better readability, recognising the semantic information by marking paragraphs is in practice. This semantic annotation process is laborious and time-consuming. To alleviate such a problem, we proposed a novel dataset to train Machine Learning algorithms to automate the highlighting process. The contributions of this work are: i) we developed a multi-class, novel dataset of size 150k samples by traversing USPTO patents over a decade, ii) articulated statistics and distributions of data using imperative exploratory data analysis, iii) baseline Machine Learning models are developed to utilize the dataset to address patent paragraph highlighting task, iv) dataset and codes relating to this task are open-sourced through a dedicated GIT web page: https://github.com/Renuk9390/Patent_Sentiment_Analysis and v) future path to extend this work using Deep Learning and domain specific pre-trained language models to develop a tool to highlight is provided. This work assist patent practitioners in highlighting semantic information automatically and aid to create a sustainable and efficient patent analysis using the aptitude of Machine Learning.

研究动机与目标

• 自动化审查员与律师在专利文件中手动、耗时的高亮关键技术段落流程。
• 构建一个大规模、多类别的专利文本片段数据集，标注语义标签，如“技术问题”、“优点”和“通用语句”。
• 建立专利情感分析的基线机器学习模型，以识别并高亮具有语义重要性的专利内容。
• 开放获取数据集、数据收集管道与模型代码，以加速专利信息检索与NLP领域的研究。
• 为未来整合深度学习与领域特定预训练语言模型奠定基础，以提升高亮准确率。

提出的方法

• 通过XML解析方法，遍历十余年美国专利商标局（USPTO）全文授权文件，构建包含15万个专利段落样本的多类别数据集。
• 进行广泛的探索性数据分析，以刻画标签分布、序列长度及n-gram频率（包括一元组与二元组）。
• 训练并评估五种基线机器学习模型：朴素贝叶斯（NBSVM）、逻辑回归（LR）、线性SVM（LSVC）、多项式朴素贝叶斯（MNB）和随机森林（RF）。
• 采用5折交叉验证评估模型性能，并应用LIME可解释性工具可视化每个分类决策中的词级贡献。
• 通过LIME集成模型可解释性，高亮每个标签（如中性、负面、正面）预测中最具影响力的词语。
• 通过公共GitHub仓库（https://github.com/Renuk9390/Patent_Sentiment_Analysis）发布数据集与代码库，供社区复用与扩展。

实验结果

研究问题

• RQ1 能否系统性地从USPTO授权文件中构建大规模、多类别的专利段落数据集，以支持自动高亮？
• RQ2 标准机器学习模型在将专利段落分类为技术问题、优点与通用语句等语义类别时表现如何？
• RQ3 专利文本中的主导语言模式与标签分布是什么，可如何指导模型设计与数据收集？
• RQ4 像LIME这样的可解释性工具在多大程度上能帮助研究人员与从业者理解专利情感分类中的模型决策？
• RQ5 如何通过开源数据集与代码加速未来在专利信息检索与知识产权分析深度学习方面的研究？

主要发现

• LSVC模型在所有类别中达到最高F1得分96%，各类别F1得分分别为：类别0为96%，类别1为95%，类别2为97%。
• NBSVM模型在类别2（即“优点”类别）中取得97%的高F1得分，表明在该类别上表现优异。
• 数据集包含15万个标注样本，三个主要语义类别分布均衡，支持稳健的模型训练。
• 探索性分析显示，训练集与测试集的平均序列长度分别为约307个词符（一元组）与599个词符（二元组）。
• LSVC的混淆矩阵显示类别间分离度高，表明模型预测可靠，误分类率低。
• LIME可视化结果证实，“improves”（改善）、“provides”（提供）和“problem”（问题）等词语是类别特定标签的强预测因子，增强了模型可解释性。