[论文解读] Towards Ontology Construction with Language Models

Maurice Funk, Simon Hosemann+2 more|arXiv (Cornell University)|Sep 18, 2023

Semantic Web and Ontologies被引用 6

一句话总结

本文提出了一种新颖的、全自动方法，利用大型语言模型（LLMs），特别是 GPT-3.5，通过迭代查询 LLM 生成子概念，并利用基于提示的验证机制验证输出，构建概念层次结构。该方法在多个领域生成了合理且公开可用的本体，展示了 LLM 在加速本体构建方面的强大潜力，同时也揭示了幻觉和文化偏见等挑战。

ABSTRACT

We present a method for automatically constructing a concept hierarchy for a given domain by querying a large language model. We apply this method to various domains using OpenAI's GPT 3.5. Our experiments indicate that LLMs can be of considerable help for constructing concept hierarchies.

研究动机与目标

• 通过将 LLM 视为领域专家，解决人工本体构建的高成本和高复杂性问题。
• 开发一种无需预定义模式或先前本体结构即可生成概念层次结构（is-a 关系）的方法。
• 通过在多个领域进行人工检查，评估 LLM 生成本体的可行性和质量。
• 探索提示工程和验证机制在减少幻觉和提高可靠性方面的作用。
• 为未来在交互式 LLM 增强的本体构建流程中整合人类专家奠定基础。

提出的方法

• 该方法从一个种子概念（例如“动物”）开始，通过递归查询 LLM 生成相关子概念。
• 使用遍历算法将层次结构作为有向无环图（DAG）进行管理，允许多个超概念对应一个概念。
• 每个生成的概念均附带 LLM 提供的文本描述，以供人工检查和验证。
• 通过额外的 LLM 查询执行验证，以检查概念关系的一致性和正确性。
• 使用提示工程引导 LLM 输出结构化且与领域相关的结果，仅使用极少的 few-shot 示例。
• 该方法完全自动化，无需人工后期处理，生成的本体已公开提供。

实验结果

研究问题

• RQ1 LLM 是否能在无预定义模式的情况下有效生成有意义且连贯的概念层次结构？
• RQ2 LLM 在不同领域生成的子概念和 is-a 关系的准确性和一致性如何？
• RQ3 提示工程和验证机制在多大程度上可减少 LLM 生成本体中的幻觉和错误？
• RQ4 LLM 训练数据中的文化与语言偏见在多大程度上影响了所构建本体的结构和内容？
• RQ5 LLM 在本体工程中支持或增强人类专业知识方面具有多大潜力？

主要发现

• 通过在动物、饮料、音乐和植物等领域的手动检查，LLM 生成的本体被判断为合理且有用。
• 该方法成功在极少人工干预下生成了丰富且与领域相关的概念及其层次关系。
• 尽管仍存在幻觉和错误，但通过验证查询和精心设计的提示工程显著降低了此类问题。
• 所构建的本体表现出文化偏见，例如将“chai”视为“香料茶”的同义词，反映出训练数据中以西方和美国为中心的视角。
• 该方法表明，LLM 可作为有效、可扩展且成本低廉的工具，用于初始本体构建，其作用类似于 LLM 在文本生成中的辅助角色。
• 该方法可扩展至更丰富的本体，包括具有属性、不相交约束以及使用 OWL 或 RDF Schema 等正式语言的本体。