[论文解读] OntoChat: a Framework for Conversational Ontology Engineering using Language Models

Boxuan Zhang, Valentina Anita Carriero+5 more|arXiv (Cornell University)|Mar 9, 2024

Natural Language Processing Techniques被引用 4

一句话总结

OntoChat 是一个对话式框架，利用大型语言模型（LLMs）自动化并简化本体工程任务，包括用户故事生成、能力问题（CQ）提取、CQ 聚类以及本体测试。其在分类支持的 CQ 任务中达到了 87.5% 的准确率，并受到领域专家和本体工程师的一致好评，显著减少了人工工作量并提升了需求获取效率。

ABSTRACT

Ontology engineering (OE) in large projects poses a number of challenges arising from the heterogeneous backgrounds of the various stakeholders, domain experts, and their complex interactions with ontology designers. This multi-party interaction often creates systematic ambiguities and biases from the elicitation of ontology requirements, which directly affect the design, evaluation and may jeopardise the target reuse. Meanwhile, current OE methodologies strongly rely on manual activities (e.g., interviews, discussion pages). After collecting evidence on the most crucial OE activities, we introduce extbf{OntoChat}, a framework for conversational ontology engineering that supports requirement elicitation, analysis, and testing. By interacting with a conversational agent, users can steer the creation of user stories and the extraction of competency questions, while receiving computational support to analyse the overall requirements and test early versions of the resulting ontologies. We evaluate OntoChat by replicating the engineering of the Music Meta Ontology, and collecting preliminary metrics on the effectiveness of each component from users. We release all code at https://github.com/King-s-Knowledge-Graph-Lab/OntoChat.

研究动机与目标

• 识别本体工程（OE）中最为耗时且易出错的活动，这些活动需要计算支持。
• 设计一个对话式框架，利用 LLM 自动化本体工程中的需求获取、分析与测试。
• 减少因领域专家与本体设计师之间多边人工互动而引发的系统性模糊性和偏见。
• 评估该框架在加速本体开发并提升其质量方面的有效性，特别是在 Music Meta Ontology 等真实用例中的表现。
• 发布一个可复现的开源原型，以支持社区采纳并推动 LLM 增强型本体工程的进一步研究。

提出的方法

• 对 24 名本体工程师开展调查，按难度和人工工作量对 OE 活动进行排序，识别出需求获取和 CQ 生成为自动化优先候选。
• 构建 OntoChat 作为对话代理，通过 LLM 驱动的提示支持用户创建用户故事、提取 CQ、聚类 CQ 并测试本体。
• 实现基于 LLM 的工作流，用于从领域专家输入生成用户故事，提取语义一致且与范围对齐的 CQ，并将它们聚类为主题组。
• 设计分类模块，通过微调的 LLM 区分支持性 CQ 与对抗性 CQ，以评估本体测试。
• 集成反馈循环，允许用户优化输出，从而实现需求的迭代改进，并减少早期规范中的偏差。
• 部署在线原型，并通过问卷调查和受控分类任务，邀请 6 名领域专家和 8 名本体工程师进行评估。

实验结果

研究问题

• RQ1 哪些本体工程活动最需要计算支持？
• RQ2 LLM 如何支持对话式本体工程框架，以实现需求获取、分析与测试？
• RQ3 LLM 在多大程度上可减少人工工作量并提升用户故事与能力问题生成的一致性？
• RQ4 该框架在识别和分类有效与无效能力问题方面的有效性如何？

主要发现

• 80% 的领域专家认为 OntoChat 生成的用户故事结构良好且相关，其中 6 名中有 5 名更倾向于使用该工具而非手动整理。
• 62.5% 的本体工程师认为 CQ 聚类功能直观，87.5% 认为生成的聚类代表了有意义的需求分组。
• 本体测试组件在分类支持性 CQ 时达到 87.5% 的准确率，精确率为 88%，召回率为 85.7%。
• 尽管 8 名本体工程师中有 6 名对 CQ 生成质量表示满意，但有 2 名指出了实体范围准确性的缺陷，表明仍有优化空间。
• 50% 的领域专家对用户故事中生成的示例数据不满意，凸显了在 LLM 提示中改进数据合成的必要性。
• 所有参与者均认为 OntoChat 在减少本体工程的时间与工作量方面具有巨大潜力，尤其在协作性、多利益相关方的场景中。