[论文解读] Prior Art Search and Reranking for Generated Patent Text

Jieh-Sheng Lee, Jieh Hsiang|arXiv (Cornell University)|Sep 19, 2020

Topic Modeling参考文献 16被引用 4

一句话总结

本文提出一种两阶段重排序方法，用于在 GPT-2 的训练数据中识别与生成的专利文本片段最相似的现有技术。该方法结合 BM25 检索与 BERT 嵌入相似性，表明与仅使用嵌入相比，重排序能提升搜索效果，尽管长文本的语义匹配仍具挑战性。

ABSTRACT

Generative models, such as GPT-2, have demonstrated impressive results recently. A fundamental question we'd like to address is: where did the generated text come from? This work is our initial effort toward answering the question by using prior art search. The purpose of the prior art search is to find the most similar prior text in the training data of GPT-2. We take a reranking approach and apply it to the patent domain. Specifically, we pre-train GPT-2 models from scratch by using the patent data from the USPTO. The input for the prior art search is the patent text generated by the GPT-2 model. We also pre-trained BERT models from scratch for converting patent text to embeddings. The steps of reranking are: (1) search the most similar text in the training data of GPT-2 by taking a bag-of-word ranking approach (BM25), (2) convert the search results in text format to BERT embeddings, and (3) provide the final result by ranking the BERT embeddings based on their similarities with the patent text generated by GPT-2. The experiments in this work show that such reranking is better than ranking with embeddings alone. However, our mixed results also indicate that calculating the semantic similarities among long text spans is still challenging. To our knowledge, this work is the first to implement a reranking system to identify retrospectively the most similar inputs to a GPT model based on its output.

研究动机与目标

• 为解决在 GPT-2 训练数据中识别与生成专利文本最接近的现有技术的挑战。
• 通过回溯定位相似的训练实例，评估 GPT-2 生成的专利权利要求的新颖性。
• 通过结合词法与语义相似性的混合重排序策略，提升专利领域中的现有技术搜索。
• 为评估生成式专利模型中的记忆化与新颖性，提供一个实用框架。
• 为未来评估人工智能生成发明的新颖性与非显而易见性奠定基础。

提出的方法

• 从头开始在 USPTO 专利数据上微调 GPT-2 和 BERT 模型，以支持领域特定的文本生成与嵌入。
• 使用 BM25 作为初始检索方法，基于与生成专利片段的词法重叠，查找候选现有技术文本。
• 将 BM25 的 top 结果转换为 BERT 嵌入，以捕捉与生成文本的语义相似性。
• 利用候选文本与生成专利片段的 BERT 嵌入之间的余弦相似度，对 BM25 结果进行重排序。
• 使用 Elasticsearch 实现高效的 BM25 检索，使用 Annoy 实现 BERT 嵌入的近似最近邻搜索。
• 将范围限制在授权专利中的片段级比较，未来工作需扩展至段落级聚合。

实验结果

研究问题

• RQ1 结合 BM25 与 BERT 嵌入的混合重排序方法，能否提升 GPT-2 生成专利文本的现有技术搜索效果？
• RQ2 与仅使用嵌入相比，重排序在识别语义相似现有技术方面的有效性如何？
• RQ3 模型在多大程度上记忆了训练数据，且现有技术搜索能否检测到专利文本中的此类记忆化现象？
• RQ4 在专利领域的新输入格式下，是否能在 GPT-2 模型中实现少样本学习？
• RQ5 在专利领域中，长文本片段的语义相似性计算存在哪些局限性？

主要发现

• 使用 BM25 后接 BERT 嵌入相似性进行重排序，优于仅使用嵌入，显著减少了语义搜索中的误报。
• 仅使用嵌入时产生了大量不合理的相似性，例如在语义无关的专利标题之间也出现高相似度，表明性能较差。
• 该系统成功识别出生成专利片段的相关现有技术，证明其作为新颖性评估工具的可行性。
• 实验表明，长文本片段的语义相似性计算仍具挑战性，在不同测试用例中结果参差不齐。
• 少样本学习在零样本提示下未能生成正确标题，尽管模型常能从第二条记录中生成标题，表明存在部分模式学习。
• BM25 与嵌入排名之间的差异可能成为数据增强的来源，尤其适用于生成句子嵌入训练中的负样本。