[论文解读] Snowman: A Million-scale Chinese Commonsense Knowledge Graph Distilled from Foundation Model

Jiaan Wang, Jianfeng Qu+5 more|arXiv (Cornell University)|Jun 17, 2023

Advanced Graph Neural NetworksComputer Science被引用 3

一句话总结

本文提出 Snowman，一个从指令微调和 RLHF 微调的大型基础模型 ChatGPT 中蒸馏出的百万规模中文常识知识图谱。通过利用少样本提示和自指导过滤策略，有效解决了低质量负面常识问题，Snowman 达到了 90.6% 的人类接受率，在规模和质量上均创下中文 CKG 的新 SOTA 记录，并在下游生成任务中优于先前模型。

ABSTRACT

Constructing commonsense knowledge graphs (CKGs) has attracted wide research attention due to its significant importance in cognitive intelligence. Nevertheless, existing CKGs are typically oriented to English, limiting the research in non-English languages. Meanwhile, the emergence of foundation models like ChatGPT and GPT-4 has shown promising intelligence with the help of reinforcement learning from human feedback. Under the background, in this paper, we utilize foundation models to construct a Chinese CKG, named Snowman. Specifically, we distill different types of commonsense head items from ChatGPT, and continue to use it to collect tail items with respect to the head items and pre-defined relations. Based on the preliminary analysis, we find the negative commonsense knowledge distilled by ChatGPT achieves lower human acceptance compared to other knowledge. Therefore, we design a simple yet effective self-instruct filtering strategy to filter out invalid negative commonsense. Overall, the constructed Snowman covers more than ten million Chinese commonsense triples, making it the largest Chinese CKG. Moreover, human studies show the acceptance of Snowman achieves 90.6\%, indicating the high-quality triples distilled by the cutting-edge foundation model. We also conduct experiments on commonsense knowledge models to show the usability and effectiveness of our Snowman.

研究动机与目标

• 通过利用先进的基础模型，解决大规模、高质量中文常识知识图谱（CKG）缺乏的问题。
• 克服现有 CKG 主要以英语为中心、在翻译过程中存在文化与语言错配的局限性。
• 通过设计针对性的过滤策略，提升蒸馏出的常识知识质量，特别是负面常识知识的质量。
• 证明指令微调和 RLHF 微调的基础模型（如 ChatGPT）在蒸馏高质量、结构化常识知识方面的优越性。
• 建立一种可扩展、轻量级协议框架，用于在低资源语言中构建高质量 CKG。

提出的方法

• 使用少量种子集合进行少样本提示，从 ChatGPT 中提取多样化的头项（如自愿、非自愿、状态等）。
• 针对每个头项，使用预定义的关系（如 xWant、xNeed、xReact、xEffect、xAttr、xIntent 和 HinderedBy）生成尾项。
• 应用自指导过滤策略，识别并移除低质量的负面常识三元组，特别是涉及受阻或受阻状态的三元组。
• 从 ChatGPT 收集超过 1100 万个原始三元组，并通过过滤提升人类接受度。
• 在 Snowman 三元组上训练基于 COMET 的常识生成模型，以评估其可用性与有效性。
• 通过三位标注员进行人工评估，计算在随机采样三元组上的人类接受率。

实验结果

研究问题

• RQ1 指令微调和 RLHF 微调的基础模型（如 ChatGPT）能否在大规模上生成高质量、结构化的中文常识知识？
• RQ2 为何负面常识知识（如 'HinderedBy' 关系）的人类接受率显著低于正面关系？
• RQ3 简单的自指导过滤策略能否有效提升蒸馏出的负面常识三元组的质量？
• RQ4 Snowman 在人类接受率和下游生成性能方面，与现有中文 CKG（如 CN-AutoMIC 和 ATOMIC-zh）相比，其质量和规模如何？
• RQ5 与其它 CKG 相比，Snowman 在多大程度上能提升常识生成模型的性能？

主要发现

• Snowman 包含超过 1000 万个中文常识三元组，是迄今规模最大的中文 CKG。
• Snowman 的原始人类接受率达到 86.8%，显著高于 CN-AutoMIC 的 47.6% 和 ATOMIC-10X 的 78.5%。
• 在应用自指导过滤策略后，Snowman 的人类接受率提升至 90.6%，为所有中文 CKG 中最高。
• 最初 'HinderedBy' 关系的原始接受率最低（65.7%），但经过过滤后达到 92.7%，表明质量恢复效果显著。
• 在 Snowman 高质量三元组上微调的 COMET 模型达到 81.8% 的人类接受率，优于在 ATOMIC-zh（31.2%）和 CN-AutoMIC（61.3%）上训练的模型。
• 使用 ChatGPT 的构建协议比 CN-AutoMIC 的多阶段过滤更简洁高效，表明其在低资源和多语言 CKG 构建中具有更广泛的应用潜力。