[论文解读] TRESTLE: A Model of Concept Formation in Structured Domains

Christopher J. MacLellan, Erik Harpstead+2 more|arXiv (Cornell University)|Oct 14, 2024

Information Retrieval and Search Behavior被引用 6

一句话总结

TRESTLEIncrementally 在结构化领域逐步构建一个概率概念层级，能够处理混合数据类型和部分匹配，并在受监督预测和无监督聚类上相对于 CFE 和人类进行评估。

ABSTRACT

The literature on concept formation has demonstrated that humans are capable of learning concepts incrementally, with a variety of attribute types, and in both supervised and unsupervised settings. Many models of concept formation focus on a subset of these characteristics, but none account for all of them. In this paper, we present TRESTLE, an incremental account of probabilistic concept formation in structured domains that unifies prior concept learning models. TRESTLE works by creating a hierarchical categorization tree that can be used to predict missing attribute values and cluster sets of examples into conceptually meaningful groups. It updates its knowledge by partially matching novel structures and sorting them into its categorization tree. Finally, the system supports mixed-data representations, including nominal, numeric, relational, and component attributes. We evaluate TRESTLE's performance on a supervised learning task and an unsupervised clustering task. For both tasks, we compare it to a nonincremental model and to human participants. We find that this new categorization model is competitive with the nonincremental approach and more closely approximates human behavior on both tasks. These results serve as an initial demonstration of TRESTLE's capabilities and show that, by taking key characteristics of human learning into account, it can better model behavior than approaches that ignore them.

研究动机与目标

• 对需要一个增量、具结构感知的模型以学习人类概念并整合多种数据类型的需求进行动机说明。
• 开发 TRESTLE，基于顺序实例逐步构建分层分类树。
• 实现部分匹配、扁平化，以及基于 COBWEB 的分类，以支持预测与聚类。
• 在非增量基线（CFE）和人类表现上评估 TRESTLE，在受监督预测和无监督聚类任务中进行比较。

提出的方法

• 用名义、数值、组件和关系属性表示实例；为每个概念提供一个概率描述。
• 通过最近优先搜索和相似性启发式对新实例与根概念进行部分匹配。
• 将结构化实例扁平化为名义/数值表示，同时保留以便后续重命名的结构。
• 使用 COBWEB 算法对扁平化的实例进行分类，采用四种可能的操作（添加、创建、合并、分裂），由类别效用引导。
• 在预测方面，使用非修改的 COBWEB 分类从概念概率表中分配属性值；在聚类方面，基于概念树推导分层标签，并通过受控分裂生成扁平标签。

实验结果

研究问题

• RQ1 TRESTLE 能否在具有混合属性类型的结构化领域中建模增量的概念形成？
• RQ2 TRESTLE 的性能在受监督预测任务和无监督聚类任务上与非增量基线（CFE）相比如何？
• RQ3 TRESTLE 的内部知识表示是否与人类分类更一致地对齐，而非 CFE？
• RQ4 相对于人类聚类，聚类中的分层分裂对聚类准确性的影响如何？

主要发现

• TRESTLE 在受监督预测方面接近人类表现，并在准确性上比非增量的 CFE 更接近人类。
• CFE 在受监督任务上的预测准确性高于人类和 TRESTLE。
• 在无监督聚类方面，TRESTLE 的聚类在质心（Center of Mass）和宽基（Wide Base）水平上与人类聚类具有高度一致性。
• 在分裂水平上，当衡量更接近人类的聚类时，TRESTLE 在调整 Rand 指数（ARI）方面可以匹配甚至超过 CFE，尤其在质心和宽基水平。