[论文解读] Unpacking Large Language Models with Conceptual Consistency

Pritish Kumar Sahu, Michael Cogswell+2 more|arXiv (Cornell University)|Sep 29, 2022

Topic Modeling被引用 4

一句话总结

本文提出概念一致性作为评估大语言模型（LLMs）在推理过程中是否具备与背景知识一致的连贯概念理解的度量指标。通过从ConceptNet中提取与概念相关的信息，并采用多数投票提示策略测量模型响应，作者发现尽管概念一致性随模型规模增加而提升，但整体水平仍处于中等程度，且在不同关系和概念间存在显著差异，表明即使在大型模型中，概念理解的泛化能力依然有限。

ABSTRACT

If a Large Language Model (LLM) answers "yes" to the question "Are mountains tall?" then does it know what a mountain is? Can you rely on it responding correctly or incorrectly to other questions about mountains? The success of Large Language Models (LLMs) indicates they are increasingly able to answer queries like these accurately, but that ability does not necessarily imply a general understanding of concepts relevant to the anchor query. We propose conceptual consistency to measure a LLM's understanding of relevant concepts. This novel metric measures how well a model can be characterized by finding out how consistent its responses to queries about conceptually relevant background knowledge are. To compute it we extract background knowledge by traversing paths between concepts in a knowledge base and then try to predict the model's response to the anchor query from the background knowledge. We investigate the performance of current LLMs in a commonsense reasoning setting using the CSQA dataset and the ConceptNet knowledge base. While conceptual consistency, like other metrics, does increase with the scale of the LLM used, we find that popular models do not necessarily have high conceptual consistency. Our analysis also shows significant variation in conceptual consistency across different kinds of relations, concepts, and prompts. This serves as a step toward building models that humans can apply a theory of mind to, and thus interact with intuitively.

研究动机与目标

• 开发一种度量指标，用以衡量大语言模型的推理行为是否与其底层的概念知识保持一致。
• 探究大语言模型是否能在常识推理中超越模式匹配，实现概念理解的泛化。
• 评估模型在问答任务中的表现与对概念相关背景事实的知识掌握程度之间的相关性。
• 识别在不同关系、概念和模型规模下，概念一致性系统性变化的特征。

提出的方法

• 通过遍历CSQA数据集中每个问题相关概念之间的路径，从ConceptNet中提取与概念相关的背景知识。
• 基于与概念相关的关系（如“是”、“渴望”、“导致”）构建背景知识问题，以探测模型的知识掌握情况。
• 采用多数投票风格的零样本提示方法，通过多种提示变体的组合，以稳健地测量模型对背景知识和锚定问题的响应。
• 将概念一致性计算为背景知识表现与锚定任务答案正确性之间的相关性。
• 采用多数投票提示策略，以减少语言表达差异带来的偏差，提升模型响应测量的可靠性。
• 在三种大语言模型家族（OPT、GPT、T0）中，对最大达660亿参数的模型进行分析，以评估概念一致性趋势。

实验结果

研究问题

• RQ1 模型在常识推理任务中的表现在多大程度上反映了其对相关背景概念的底层知识？
• RQ2 概念一致性（即背景知识与推理表现之间的一致性）在不同类型的关系和概念之间如何变化？
• RQ3 概念一致性是否随模型规模增加而提升？如果是，其增长速度与原始知识掌握或推理准确率的提升相比如何？
• RQ4 提示策略（尤其是多数投票提示）如何影响背景知识和概念一致性的测量？
• RQ5 是否存在某些关系或概念，即使在大型模型中，其概念一致性仍较低，尽管其在推理任务中表现优异？

主要发现

• 概念一致性随模型规模增加而提升，但整体水平仍处于中等程度，表明更大的模型并不一定实现背景知识与推理表现之间的高度对齐。
• 尽管背景事实知识随规模增加而提升，但其增长速度慢于推理准确率或概念一致性，表明大语言模型中存在技能的层级结构。
• 在不同关系之间观察到显著的概念一致性差异：例如，尽管知识有所提升，大型模型在“渴望”关系上并未变得更一致，而在“导致”关系上则表现出更高的稳定性。
• 小型模型常表现出不一致行为——即知识丰富但不一致，或一致但无知，尤其在“渴望”和“导致”等关系上更为明显。
• 不同模型家族的表现存在差异：与GPT和T0相比，OPT模型在概念一致性方面表现出较弱的可扩展性趋势，且在某些关系（如“类似”）上，部分小型模型的表现优于大型模型。
• 可检测到提示偏差（如小型OPT模型中的“是”偏向），而多数投票提示策略能有效缓解此类偏差，从而提升测量的可靠性。