[论文解读] VICE: Variational Interpretable Concept Embeddings

Lukas Muttenthaler, Charles Zheng+4 more|arXiv (Cornell University)|May 2, 2022

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

VICE 提出了一种变分贝叶斯方法，用于从人类对三元组中“异类”判断的数据中学习稀疏、非负且可解释的概念嵌入。通过使用稀疏-板（spike-and-slab）先验和变分推断，VICE 提供了不确定性估计，从而实现自动维度选择、改进的收敛性检测以及对随机初始化的鲁棒性，在一致性和泛化性能方面优于 SPoSE，且具备理论上的 PAC 学习边界。

ABSTRACT

A central goal in the cognitive sciences is the development of numerical models for mental representations of object concepts. This paper introduces Variational Interpretable Concept Embeddings (VICE), an approximate Bayesian method for embedding object concepts in a vector space using data collected from humans in a triplet odd-one-out task. VICE uses variational inference to obtain sparse, non-negative representations of object concepts with uncertainty estimates for the embedding values. These estimates are used to automatically select the dimensions that best explain the data. We derive a PAC learning bound for VICE that can be used to estimate generalization performance or determine a sufficient sample size for experimental design. VICE rivals or outperforms its predecessor, SPoSE, at predicting human behavior in the triplet odd-one-out task. Furthermore, VICE's object representations are more reproducible and consistent across random initializations, highlighting the unique advantage of using VICE for deriving interpretable embeddings from human behavior.

研究动机与目标

• 开发一种从人类行为数据中学习可解释、稀疏且非负的对象概念嵌入的方法，且无需对语义维度施加先验假设。
• 克服 SPoSE 的局限性，包括任意的维度阈值设定、缺乏收敛性判据以及次优的正则化诱导先验。
• 为嵌入值提供不确定性估计，以实现数据驱动的维度选择和表征稳定性检测。
• 推导出用于概念嵌入任务的泛化性能和实验样本量估计的 PAC 学习边界。
• 与 SPoSE 等先前模型相比，提升对象表征在不同随机初始化下的可重现性与一致性。

提出的方法

• VICE 使用稀疏-板先验，分别建模维度的相关性（某维度是否适用于某一对象）与重要性（嵌入值的大小），从而实现比 ℓ₁ 正则化更灵活的收缩。
• 采用变分推断，并利用单峰后验分布近似真实的嵌入后验分布，从而为每个嵌入分量同时获得均值和不确定性估计。
• 利用不确定性估计进行统计过程，以自动选择最具信息量的维度，替代 SPoSE 中使用的任意阈值。
• 基于表征稳定性（即迭代过程中所选维度数量的一致性）定义收敛判据，提升优化的可靠性。
• 该方法整合了基于模型泛化误差的 PAC 学习边界，支持样本量估计与性能预测。
• 通过受控的量化方式（Δ ≤ 1）处理嵌入，以在保留信息的同时支持理论边界，实证验证表明在低量化水平下性能最优。

实验结果

研究问题

• RQ1 与 SPoSE 等 ℓ₁ 正则化模型相比，采用稀疏-板先验的变分贝叶斯方法是否能提升概念嵌入模型的可解释性与鲁棒性？
• RQ2 变分推断产生的不确定性估计是否能实现无需任意阈值的自动、数据驱动的有意义维度选择？
• RQ3 基于表征稳定性的所提收敛判据是否能提升不同随机初始化下的优化可靠性与一致性？
• RQ4 能否利用基于模型泛化误差推导出的 PAC 学习边界，用于行为概念嵌入任务中的实验设计样本量估计？
• RQ5 VICE 在预测人类三元组“异类”判断任务上的表现与 SPoSE 相比如何？其在不同运行中是否表现出更优的可重现性？

主要发现

• VICE 在三元组“异类”判断任务上对人类行为的预测性能优于 SPoSE，接近理论最优性能。
• VICE 的对象表征在不同随机初始化下显著比 SPoSE 更具可重现性与一致性，表明优化稳定性得到改善。
• 利用不确定性估计实现了自动维度选择，消除了 SPoSE 中使用的任意阈值。
• 基于表征稳定性的 VICE 收敛判据能可靠识别出模型已稳定在一组一致的所选维度上。
• 为 VICE 推导出的理论 PAC 边界支持样本量估计与泛化性能预测，有助于实验设计。
• 所有数据集上平均嵌入权重的上界约为 2.7，实证最大值分别为 2.6285（Things）、2.2130（Adjectives）和 2.4307（Food），表明正则化与损失函数行为导致了优化的有界性。