[论文解读] Product Kanerva Machines: Factorized Bayesian Memory

Adam Marblestone, Yan Wu+1 more|arXiv (Cornell University)|Feb 6, 2020

Advanced Image and Video Retrieval Techniques参考文献 52被引用 5

一句话总结

该论文提出了产品Kanerva机器（Product Kanerva Machine），一种分层贝叶斯记忆模型，通过将单一Kanerva机器分解为多个较小的机器，实现高效、可扩展且结构化的记忆组织。通过使用可学习的分配权重组合读出结果，该模型实现了无监督聚类、稀疏分配模式以及空间局部化的特征发现，在容量和鲁棒性方面优于基于混合的替代方案。

ABSTRACT

An ideal cognitively-inspired memory system would compress and organize incoming items. The Kanerva Machine (Wu et al, 2018) is a Bayesian model that naturally implements online memory compression. However, the organization of the Kanerva Machine is limited by its use of a single Gaussian random matrix for storage. Here we introduce the Product Kanerva Machine, which dynamically combines many smaller Kanerva Machines. Its hierarchical structure provides a principled way to abstract invariant features and gives scaling and capacity advantages over single Kanerva Machines. We show that it can exhibit unsupervised clustering, find sparse and combinatorial allocation patterns, and discover spatial tunings that approximately factorize simple images by object.

研究动机与目标

• 为解决单一Kanerva机器存在的可扩展性差和记忆结构组织性不足等局限性。
• 开发一种分层记忆系统，支持信息的动态分组，并实现生成式、压缩式和不变性记忆表征。
• 探究分解的记忆结构是否能够发现组合性、解耦的特征，并支持鲁棒、可扩展的记忆操作。
• 在记忆容量不断增加的情况下，比较产品分解与混合分解在性能、泛化能力和鲁棒性方面的表现。

提出的方法

• 该模型将单一Kanerva机器划分为k个较小的机器，每个机器包含m_i = m/k列，以提升计算效率并支持功能专业化。
• 使用一个多层感知机（MLP）作为分配网络，计算软注意力权重r_i，用于在k个机器之间路由查询和更新。
• 产品分解假设p(z) ∝ ∏_i p(z|M_i)，促使每个机器在不同回合中学习统计独立的、组合性的特征。
• 通过最小二乘法优化列权重w_i来计算读出结果，以重构查询z_query，条件分布建模为p(z|M_i) ∼ N(M_i w_i, σ²_i I)。
• 该模型支持三种模式：写入（后验推断）、读取（重构）和生成（基于历史条件采样记忆）。
• 采用Gumbel-Softmax重参数化方法，使分配网络可微分训练，支持在最终硬决策前进行软路由。

实验结果

研究问题

• RQ1 像产品Kanerva机器这样的分解记忆架构，是否能比单一Kanerva机器实现更好的可扩展性和容量？
• RQ2 产品分解是否能促进记忆中稀疏、组合性和解耦特征的发现？
• RQ3 当组件机器数量增加时，产品模型与混合模型在性能和鲁棒性方面有何比较？
• RQ4 该模型能否学习视觉特征（如边缘或物体部件）的空间局部化、不变性表征？
• RQ5 该系统是否能在无需基于梯度的微调情况下，支持无监督聚类和生成式记忆回放？

主要发现

• 产品Kanerva机器在不同数量的机器k下均实现了稳定的训练和重构性能，且随着k增加性能未出现退化，而混合模型则存在此问题。
• 产品模型发现了稀疏且组合性的分配模式，机器使用在MNIST数据集中对特定数字类别表现出选择性调谐。
• 在RGB绑定任务中，模型学会了根据红色通道数字类别的不同，将不同机器分配给不同任务，表现出选择性、非均匀的路由，且未使用硬注意力机制。
• 在跳舞dSprites任务中，各机器发展出空间局部化的调谐响应，近似覆盖图像空间，部分机器检测边缘，另一些则对形状、方向和大小保持不变。
• 条件生成实验表明，该模型能够检索存储的项目或幻觉生成新颖的、带噪声的空间模式，展示了其生成式记忆能力。
• 由于产品分解能够保持分布式、非退化表征，该模型在重构准确率和鲁棒性方面优于基于混合的替代方案，尤其在k增加时优势更明显。