[论文解读] PatentBERT: Patent Classification with Fine-Tuning a pre-trained BERT Model

Jieh-Sheng Lee, Jieh Hsiang|arXiv (Cornell University)|May 14, 2019

Machine Learning in Materials Science参考文献 6被引用 86

一句话总结

该论文对预训练的 BERT 模型进行微调用于专利分类，并在大型 USPTO 数据集上展示了最新的性能，甚至仅使用专利权利要求。

ABSTRACT

In this work we focus on fine-tuning a pre-trained BERT model and applying it to patent classification. When applied to large datasets of over two millions patents, our approach outperforms the state of the art by an approach using CNN with word embeddings. In addition, we focus on patent claims without other parts in patent documents. Our contributions include: (1) a new state-of-the-art method based on pre-trained BERT model and fine-tuning for patent classification, (2) a large dataset USPTO-3M at the CPC subclass level with SQL statements that can be used by future researchers, (3) showing that patent claims alone are sufficient for classification task, in contrast to conventional wisdom.

研究动机与目标

• 以现代 NLP 模型提升专利分类的动机。
• 展示微调后的 BERT 相对于基于 CNN 的方法的有效性。
• 展示仅凭专利权利要求也能达到较强的分类性能。
• 提供一个大型、可重复使用的数据集（USPTO-3M）用于 CPC 子类分类。

提出的方法

• 在专利数据上对 CPC 子类分类进行微调一个预训练的 BERT 模型。
• 与基线的 CNN 基于词嵌入的方法进行比较。
• 实验聚焦于专利权利要求，排除其他专利文档部分。
• 发布一个带有可重用的 SQL 就绪语句的大型数据集（USPTO-3M）以供再使用。

实验结果

研究问题

• RQ1 微调一个预训练的 BERT 模型是否在专利子类分类上优于基于 CNN 的方法？
• RQ2 与使用完整专利文档相比，专利权利要求是否足以实现有效的专利分类？
• RQ3 数据集规模对专利 CPC 子类分类性能的影响如何？

主要发现

• 基于微调的 BERT 方法在专利分类上实现了最先进的性能。
• 该方法在大型专利数据集上优于使用词嵌入的基线 CNN。
• 专利权利要求本身就足以完成分类任务，与传统观念相反。
• 作者提供 USPTO-3M，一个在 CPC 子类层面的大型数据集，并附有未来可用的 SQL 语句。