[论文解读] Predicting Human Similarity Judgments Using Large Language Models

Raja Marjieh, Ilia Sucholutsky+3 more|arXiv (Cornell University)|Feb 9, 2022

Topic Modeling被引用 6

一句话总结

本文提出了一种可扩展的、领域通用的方法，通过文本描述和大型语言模型预测人类相似性判断，将数据需求从二次方缩放降低为线性缩放。该方法通过在众包获取的描述上使用 BERT 和 ConceptNet NumberBatch 嵌入，优于以往基于 CNN 的方法，证明了语言模型的语义表示能够有效捕捉人类的相似性判断。

ABSTRACT

Similarity judgments provide a well-established method for accessing mental representations, with applications in psychology, neuroscience and machine learning. However, collecting similarity judgments can be prohibitively expensive for naturalistic datasets as the number of comparisons grows quadratically in the number of stimuli. One way to tackle this problem is to construct approximation procedures that rely on more accessible proxies for predicting similarity. Here we leverage recent advances in language models and online recruitment, proposing an efficient domain-general procedure for predicting human similarity judgments based on text descriptions. Intuitively, similar stimuli are likely to evoke similar descriptions, allowing us to use description similarity to predict pairwise similarity judgments. Crucially, the number of descriptions required grows only linearly with the number of stimuli, drastically reducing the amount of data required. We test this procedure on six datasets of naturalistic images and show that our models outperform previous approaches based on visual information.

研究动机与目标

• 开发一种可扩展的、领域通用的方法，无需成对比较即可预测人类相似性判断。
• 减少相似性矩阵的数据收集负担，因为其随刺激数量呈二次方增长。
• 测试语言描述和预训练语言模型是否能像视觉模型一样准确预测人类相似性判断。
• 将基于语言模型的预测器性能与以往基于 CNN 的方法进行比较。
• 探索 BERT 表示与人类对相似性的心理表征之间的对齐程度。

提出的方法

• 收集或使用现有的语言描述（语义标签或自由文本描述）作为刺激的描述。
• 应用预训练的语言模型——ConceptNet NumberBatch (CNNB) 和 BERT——将文本描述嵌入为向量表示。
• 使用嵌入描述向量之间的余弦相似度计算成对相似度。
• 将 CNNB（概念级）和 BERT（细粒度文本）表示结合，形成联合预测器以提升性能。
• 使用多维缩放（MDS）可视化并解释预测的相似性矩阵。
• 将模型性能与先前工作（Peterson et al., 2018）中的基于 CNN 的基线模型进行基准测试。

实验结果

研究问题

• RQ1 与传统的成对收集方法相比，文本描述和预训练语言模型是否能更高效地预测人类相似性判断？
• RQ2 BERT 和 ConceptNet NumberBatch 嵌入在预测人类相似性方面，与 CNN 的视觉表征相比表现如何？
• RQ3 基于语言模型的预测在多大程度上能捕捉自然图像数据集中可解释的语义结构？
• RQ4 感知相似性（CNN）与语义相似性（语言模型）之间是否存在差异，这些差异揭示了关于人类认知的什么信息？
• RQ5 结合概念级和细粒度文本表示是否能提升预测准确性？

主要发现

• 所提出的方法通过使用文本描述而非成对相似性判断，将数据需求从二次方缩放降低为线性缩放。
• BERT 与 CNNB 联合模型在所有六个测试图像数据集上均优于单一模型及先前的基于 CNN 的方法。
• 预测相似性矩阵的 MDS 可视化揭示了可解释的语义组织结构，包括自然类别和功能类别以及颜色渐变。
• 观察到 CNN 与 CNNB 预测之间的差异，表明人类在判断不熟悉物体时可能更依赖低层次的感知特征，而在判断熟悉物体时更依赖语义特征。
• 结果支持人类相似性判断基于语义理解的假设，且 BERT 等语言模型能够有效捕捉这种结构。
• 该方法实现了相似性矩阵的高效预测，使得在更大、更自然的图像数据集上开展相似性研究成为可能。