[论文解读] The Two Word Test: A Semantic Benchmark for Large Language Models

Nicholas Riccardi, Rutvik H. Desai|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用 4

一句话总结

本文提出了双词测试（TWT），一种语义基准，用于评估大型语言模型（LLMs）在判断1,768个名词-名词短语语义合理性的能力，这些短语由150名人类评分者进行评分。尽管在其他任务上表现优异，GPT-4、GPT-3.5和Bard在该任务上仍显著低于人类水平，GPT-4虽有明显改进但依然不足，其二元判别能力未能达到人类水平，从而对LLMs具备人类级理解或通用人工智能（AGI）能力的说法提出质疑。

ABSTRACT

Large Language Models (LLMs) have shown remarkable abilities recently, including passing advanced professional exams and demanding benchmark tests. This performance has led many to suggest that they are close to achieving humanlike or 'true' understanding of language, and even Artificial General Intelligence (AGI). Here, we provide a new open-source benchmark that can assess semantic abilities of LLMs using two-word phrases using a task that can be performed relatively easily by humans without advanced training. Combining multiple words into a single concept is a fundamental aspect of human language and intelligence. The test requires meaningfulness judgments of 1768 noun-noun combinations that have been rated as meaningful (e.g., baby boy) or not meaningful (e.g., goat sky). by 150 human raters. We provide versions of the task that probe meaningfulness ratings on a 0-4 scale as well as binary judgments. We conducted a series of experiments using the TWT on GPT-4, GPT-3.5, and Bard, with both versions. Results demonstrated that, compared to humans, all models perform poorly at rating meaningfulness of these phrases. GPT-3.5 and Bard are also unable to make binary discriminations between sensible and nonsense phrases as making sense. GPT-4 makes a substantial improvement in binary discrimination of combinatorial phrases but is still significantly worse than human performance. The TWT can be used to understand the limitations and weaknesses of current LLMs, and potentially improve them. The test also reminds us that caution is warranted in attributing 'true understanding' or AGI to LLMs. TWT is available at: https://github.com/NickRiccardi/two-word-test

研究动机与目标

• 通过最少的语言输入，开发一种简单但稳健的基准，用于评估大型语言模型的语义理解能力。
• 通过测试基本的语义组合性，挑战关于LLMs具备人类级或通用人工智能（AGI）级理解能力的说法。
• 提供一个开源的、由人类标注的1,768个名词-名词组合数据集，这些组合在0–4的语义合理性量表上进行了评分，并以二元的“合理”/“荒谬”形式标注。
• 评估领先LLMs——GPT-4、GPT-3.5和Bard——在该语义任务上的表现，并与人类基线表现进行比较。
• 突出LLMs在理解语义组合性方面持续存在的局限性，即使在简单的语言结构中也是如此。

提出的方法

• TWT构建了1,768个名词-名词短语，包括有意义的组合（如‘婴儿男孩’）和无意义的组合（如‘山羊天空’）。
• 150名独立的人类评分者对每个短语在0–4的语义合理性量表上进行评分，建立了金标准的人工标注数据集。
• 该基准包含两种任务变体：五级语义合理性评分（0–4）和二元分类（合理 vs. 荒谬）。
• 作者使用零-shot提示对GPT-4、GPT-3.5和Bard在两种变体上进行了评估，测量其输出与人类评分的一致性。
• 性能通过相关性度量（如Spearman等级相关系数）和二元分类的准确率进行量化，并与人类标注结果进行比较。

实验结果

研究问题

• RQ1 大型语言模型能否像人类一样准确判断简单双词名词-名词短语的语义合理性？
• RQ2 GPT-4、GPT-3.5和Bard在二元判别（合理 vs. 荒谬）名词-名词组合方面与人类表现相比如何？
• RQ3 LLMs在处理常见语言结构时，在多大程度上表现出真正的语义组合性？
• RQ4 在复杂基准上表现提升是否意味着更深层次的语义理解，还是模型仍依赖于统计模式？
• RQ5 双词测试为当前LLMs在语义泛化和常识理解方面的局限性提供了哪些洞见？

主要发现

• 所有测试的LLMs——GPT-4、GPT-3.5和Bard——在0–4语义合理性评分任务上的表现显著低于人类，尽管GPT-4相关性最高，但仍低于人类水平。
• GPT-3.5和Bard在二元分类任务中无法可靠地区分合理与荒谬短语，表明其语义判别能力较差。
• GPT-4在二元判别中取得了显著改进，但其准确率仍远低于人类表现，表明其语义理解仍存在持续局限。
• 该基准揭示，即使最先进的模型在基本语义组合性方面仍存在困难，从而对声称的‘人类级理解’或‘通用人工智能’能力提出质疑。
• 结果强调，尽管LLMs在其他基准上表现优异，但应谨慎将其归因于‘真正理解’或通用人工智能能力。