[论文解读] SERKET: An Architecture for Connecting Stochastic Models to Realize a Large-Scale Cognitive Model

Tomoaki Nakamura, Takayuki Nagai+1 more|arXiv (Cornell University)|Dec 4, 2017

Reinforcement Learning in Robotics参考文献 3被引用 5

一句话总结

该论文提出Serket，一种模块化的概率框架，通过连接更小的贝叶斯模型，在保持程序独立性的同时，实现大规模认知模型的构建与联合参数优化。通过在模块间仅传递最小充分统计量，Serket简化了复杂、分层生成模型中的参数估计，在使用多模态机器人数据进行概念与语言习得任务时，性能与原始单体模型相当。

ABSTRACT

To realize human-like robot intelligence, a large-scale cognitive architecture is required for robots to understand the environment through a variety of sensors with which they are equipped. In this paper, we propose a novel framework named Serket that enables the construction of a large-scale generative model and its inference easily by connecting sub-modules to allow the robots to acquire various capabilities through interaction with their environments and others. We consider that large-scale cognitive models can be constructed by connecting smaller fundamental models hierarchically while maintaining their programmatic independence. Moreover, connected modules are dependent on each other, and parameters are required to be optimized as a whole. Conventionally, the equations for parameter estimation have to be derived and implemented depending on the models. However, it becomes harder to derive and implement those of a larger scale model. To solve these problems, in this paper, we propose a method for parameter estimation by communicating the minimal parameters between various modules while maintaining their programmatic independence. Therefore, Serket makes it easy to construct large-scale models and estimate their parameters via the connection of modules. Experimental results demonstrated that the model can be constructed by connecting modules, the parameters can be optimized as a whole, and they are comparable with the original models that we have proposed.

研究动机与目标

• 为解决通过连接更小、独立的贝叶斯模型来构建和优化大规模认知模型的困难。
• 克服在组合模块化认知架构时推导和实现复杂参数估计方程的挑战。
• 通过在可扩展且模块化的框架中与多模态感官数据交互，使机器人能够学习概念、语言和运动技能。
• 在保持模块程序独立性的同时，实现整个模型结构中参数的联合优化。

提出的方法

• Serket被设计为一种模块化架构，其中每个组件都是具有独立实现的基本贝叶斯模型。
• 模块之间仅通过最小充分统计量（例如，计数、狄利克雷分布或皮特曼-莫里斯过程的充分统计量）进行通信，以保持程序独立性。
• 通过聚合最小统计量，在连接的模块之间联合执行参数估计，避免为每个复合模型重新推导复杂方程。
• 该框架支持模型的分层组合，例如多模态物体识别、语言习得和运动分割。
• 利用阻塞吉布斯采样和动态规划，实现嵌套皮特曼-莫里斯语言模型中的高效推理。
• 系统将视觉、触觉、听觉、运动和语言模态整合到统一的生成模型中，以实现概念与语言的涌现。

实验结果

研究问题

• RQ1 如何在保持模块化与程序独立性的前提下，从更小、独立的贝叶斯模型构建大规模认知模型？
• RQ2 为实现无需重新推导估计方程的联合参数优化，模块之间必须交换的最少信息是什么？
• RQ3 像Serket这样的模块化框架是否能在复杂认知任务（如概念与语言习得）中实现与单体模型相当的性能？
• RQ4 Serket在统一生成模型中处理多模态感官数据（视觉、触觉、听觉、运动、语言）的效率如何？
• RQ5 该框架是否能够支持模型的分层组合，以实现日益复杂的认知能力？

主要发现

• Serket成功实现了通过连接更小、独立的贝叶斯模块来构建大规模认知模型，而无需对参数估计方程进行单体式重新实现。
• 通过仅交换最小充分统计量，该框架实现了模块间的联合参数优化，显著降低了实现复杂度。
• 实验结果表明，使用Serket构建的模块化模型在概念与语言习得任务中的表现与原始独立模型相当。
• 该系统能有效将多模态数据——视觉（DSIFT直方图）、触觉（15维）、听觉（MFCC，13维）、运动（70维）和语言（NPYLM）——整合到单一生成模型中。
• 使用阻塞吉布斯采样实现的嵌套皮特曼-莫里斯语言模型，无需预定义词汇表即可高效实现词切分与语言建模。
• 通过支持参数共享与优化的模块化模型的增量组合，该框架实现了可扩展的、分层的认知建模。