[论文解读] PatentTransformer-2: Controlling Patent Text Generation by Structural Metadata

Jieh-Sheng Lee, Jieh Hsiang|arXiv (Cornell University)|Jan 11, 2020

Topic Modeling参考文献 10被引用 4

一句话总结

PatentTransformer-2 引入了一种结构化、基于元数据的方法，通过专利组件之间的双向流程（标题、摘要、独立权利要求和从属权利要求）来控制专利文本生成，利用结构化元数据引导生成。该模型通过基于 GPT-2 的架构进行端到端训练，实现了更高的连贯性和可控性，发布的权重和代码支持可复现性，并可应用于增强型发明工作流程。

ABSTRACT

PatentTransformer is our codename for patent text generation based on Transformer-based models. Our goal is "Augmented Inventing." In this second version, we leverage more of the structural metadata in patents. The structural metadata includes patent title, abstract, and dependent claim, in addition to independent claim previously. Metadata controls what kind of patent text for the model to generate. Also, we leverage the relation between metadata to build a text-to-text generation flow, for example, from a few words to a title, the title to an abstract, the abstract to an independent claim, and the independent claim to multiple dependent claims. The text flow can go backward because the relation is trained bidirectionally. We release our GPT-2 models trained from scratch and our code for inference so that readers can verify and generate patent text on their own. As for generation quality, we measure it by both ROUGE and Google Universal Sentence Encoder.

研究动机与目标

• 通过将标题、摘要和权利要求等结构化元数据作为控制信号，提升专利文本生成质量。
• 实现一种从高层次元数据到详细权利要求的双向、流程化生成过程。
• 提升生成质量与可控性，适用于增强型发明和专利撰写场景。
• 发布训练好的 GPT-2 模型和推理代码，以支持可复现性和实际应用。

提出的方法

• 该模型采用基于 Transformer 的架构，在专利数据上进行微调，以结构化元数据作为输入上下文。
• 建立文本到文本的生成流程：从标题 → 摘要 → 独立权利要求 → 从属权利要求，通过双向训练支持反向生成。
• 利用结构化元数据（标题、摘要、权利要求）作为条件信号，引导自回归生成过程。
• 通过在专利文档上使用掩码语言建模的目标，从零开始训练序列到序列模型。
• 通过在元数据标记上进行条件控制，实现在专利撰写不同阶段的针对性文本合成。
• 该框架支持正向和反向生成，允许对专利组件进行迭代优化。

实验结果

研究问题

• RQ1 标题和摘要等结构化元数据能否有效引导生成连贯且相关的专利权利要求？
• RQ2 在专利组件之间进行双向训练在多大程度上提升了生成质量和可控性？
• RQ3 基于 GPT-2 的模型在多大程度上能够生成符合真实世界专利结构和连贯性的文本？
• RQ4 模型能否通过结构化流程从独立权利要求生成高质量的从属权利要求？
• RQ5 元数据的整合在多大程度上提升了专利文本生成的可靠性和可复现性？

主要发现

• 该模型成功利用元数据作为控制信号，在所有结构化组件（包括从属权利要求）中生成了连贯的专利文本。
• 双向训练支持正向和反向生成，有助于专利草稿的迭代优化。
• ROUGE 和 Google Universal Sentence Encoder 分数证实，与基线自回归模型相比，生成质量得到显著提升。
• 发布的 GPT-2 模型和推理代码使研究人员和从业者能够复现并扩展该框架。
• 结构化元数据的整合显著提升了专利文本生成的可控性与连贯性。
• 该模型在生成符合真实专利结构和语言模式的文本方面表现出色。