[论文解读] Revealing interpretable object representations from human behavior

Charles Zheng, Francisco Pereira+2 more|arXiv (Cornell University)|Jan 9, 2019

Language and cultural evolution参考文献 21被引用 25

一句话总结

本文提出了一种稀疏、非负嵌入方法（SPoSE），通过人类行为判断在‘异类识别’任务中推断可解释的对象表征。通过对1,854种物体类别的相似性判断进行分析，该模型学习到一个49维语义空间，其中每个维度对应可解释的特征，如分类学、功能或感知属性，且在多种行为任务（包括分类和典型性评分）中实现了高预测准确率。

ABSTRACT

To study how mental object representations are related to behavior, we estimated sparse, non-negative representations of objects using human behavioral judgments on images representative of 1,854 object categories. These representations predicted a latent similarity structure between objects, which captured most of the explainable variance in human behavioral judgments. Individual dimensions in the low-dimensional embedding were found to be highly reproducible and interpretable as conveying degrees of taxonomic membership, functionality, and perceptual attributes. We further demonstrated the predictive power of the embeddings for explaining other forms of human behavior, including categorization, typicality judgments, and feature ratings, suggesting that the dimensions reflect human conceptual representations of objects beyond the specific task.

研究动机与目标

• 建模对象心理表征与人类行为之间的关系，特别是在情境依赖性决策中的表现。
• 通过从行为数据中推导出连续、可解释的表征，克服传统语义特征模型的局限性——如二值特征、缺乏程度区分以及情境不敏感性。
• 开发一种低维、稀疏且非负的嵌入方法，捕捉对象的核心概念维度，而无需依赖预设特征。
• 证明所推导的表征可泛化至异类识别任务之外，用于预测其他行为现象，如典型性和特征评分。

提出的方法

• 该方法使用Amazon Mechanical Turk上的工作者在‘异类识别’任务中的行为判断，参与者需从三幅图像的组合中选出最不相似的那一项。
• 采用稀疏非负矩阵分解（SNMF）方法，对相似性判断进行处理，为1,854个对象概念学习49维嵌入空间。
• 所得的SPoSE（稀疏、正向且稀疏嵌入）向量具有稀疏性和非负性，可通过特征载荷分析实现可解释性。
• 通过将嵌入空间中的每个维度与先前研究中人类提取的语义特征（如Devereux等人，2014年）进行相关性分析，揭示其概念含义。
• 通过计算嵌入向量之间的点积，模型可预测未见过的对象三元组的新行为判断，反映其相似性。
• 该方法融合了特征模型与维度模型的相似性机制：稀疏性强调共享特征，而向量接近度则反映连续相似性。

实验结果

研究问题

• RQ1 能否利用人类在情境中对对象相似性的判断，推断出低维且可解释的对象概念表征？
• RQ2 嵌入空间中学习到的维度是否对应于有意义的概念类别，如分类学、功能或感知属性？
• RQ3 SPoSE表征是否能预测异类识别任务之外的人类行为形式，如分类或典型性评分？
• RQ4 所推导的表征在多大程度上反映了人类提取特征揭示的对象概念的潜在语义结构？
• RQ5 与传统的特征模型或维度模型相比，该模型的性能如何？

主要发现

• SPoSE模型在解释人类在异类识别任务中的行为判断方面表现出高预测准确率，捕捉了相似性判断中大部分可解释的方差。
• 49维嵌入空间在不同数据划分和受试者群体中均表现出高度可重复性。
• 嵌入中的各个维度可被解释为传达分类学归属（如‘是一种水果’）、功能属性（如‘用于进食’）以及感知属性（如‘颜色为红色’）。
• 该模型成功预测了新数据上的分类行为、典型性评分和特征评分，证明其在训练任务之外具有良好的泛化能力。
• 嵌入的稀疏非负结构使得各概念在每个维度上的载荷关系清晰可辨，揭示了不同的概念聚类。
• 模型性能表明其采用了一种混合决策机制，根据特征重叠程度，结合特征层面（共享特征）与维度层面（向量接近度）的相似性。