[论文解读] Towards Building Deep Networks with Bayesian Factor Graphs

Amedeo Buonanno, F. Palmieri|arXiv (Cornell University)|Feb 16, 2015

Bayesian Modeling and Causal Inference参考文献 40被引用 4

一句话总结

本文提出一种基于贝叶斯因子图简化正则形式（FGrn）的深度学习架构，通过在二维网格上使用分层隐变量模型（LVMs）来学习图像的多层次表征。通过在SISO模块内采用局部信念传播与学习机制，该模型实现了灵活、模块化的深度网络，具备对未见数据的强泛化能力，可进行无监督表征学习、模式补全和分类。

ABSTRACT

We propose a Multi-Layer Network based on the Bayesian framework of the Factor Graphs in Reduced Normal Form (FGrn) applied to a two-dimensional lattice. The Latent Variable Model (LVM) is the basic building block of a quadtree hierarchy built on top of a bottom layer of random variables that represent pixels of an image, a feature map, or more generally a collection of spatially distributed discrete variables. The multi-layer architecture implements a hierarchical data representation that, via belief propagation, can be used for learning and inference. Typical uses are pattern completion, correction and classification. The FGrn paradigm provides great flexibility and modularity and appears as a promising candidate for building deep networks: the system can be easily extended by introducing new and different (in cardinality and in type) variables. Prior knowledge, or supervised information, can be introduced at different scales. The FGrn paradigm provides a handy way for building all kinds of architectures by interconnecting only three types of units: Single Input Single Output (SISO) blocks, Sources and Replicators. The network is designed like a circuit diagram and the belief messages flow bidirectionally in the whole system. The learning algorithms operate only locally within each block. The framework is demonstrated in this paper in a three-layer structure applied to images extracted from a standard data set.

研究动机与目标

• 开发一种基于贝叶斯因子图的灵活、模块化深度网络架构，用于分层表征学习。
• 通过局部化消息传递与信念传播，实现在图像数据中的无监督学习与推理。
• 展示模型在使用不完整或未见过的测试数据时，进行模式补全与泛化的能力。
• 探索在FGrn框架内，如何在多尺度上整合先验知识与监督信号。
• 通过完全局部化的学习与消息传递机制，建立计算高效、适合分布式计算的架构。

提出的方法

• 该架构构建为隐变量模型（LVMs）的四叉树层次结构，每个LVM均以简化正则形式（FGrn）实现的SISO模块形式存在。
• 每个LVM模块通过求和-乘积信念传播执行本地学习，参数根据局部统计信息进行更新。
• 网络被组织为多层系统，上层通过复制单元与源单元从下层组合特征。
• 通过双向信念传播执行推理，支持生成式、判别式与补全模式。
• 学习过程完全局部化：每个SISO模块独立使用本地数据与消息传递统计信息更新其参数。
• 该框架支持通过引入额外变量类型，在任意层级整合先验知识或监督标签。

实验结果

研究问题

• RQ1 具有局部化学习的贝叶斯因子图框架是否能在图像数据中实现有效的分层表征学习？
• RQ2 基于FGrn的网络在输入补丁不完整或受损时，其模式补全能有多好？
• RQ3 当模型以无监督方式训练时，其对未见过的测试数据的泛化能力如何？
• RQ4 FGrn框架的模块化与灵活性在多尺度上如何支持整合先验知识或监督信号？
• RQ5 FGrn架构在分布式或并行实现下，扩展至大规模图像处理任务的计算可行性如何？

主要发现

• 该模型成功学习了分层表征，第1层捕捉到类似于初级视觉皮层响应的简单方向性模式。
• 在第3层，前向分布反映出由低层特征组合而成的复杂结构，表明基本单元的有效组合。
• 在训练补丁上的模式补全实现了高保真度，网络利用存储的结构知识恢复了缺失像素。
• 尽管从未见过测试集补丁，模型仍表现出有效的泛化能力，证明了其鲁棒性与迁移学习能力。
• 网络在高达50%像素缺失的情况下仍能重建图案，证实其具备关联记忆与强大推理能力。
• 局部化学习与消息传递机制支持高效、分布式的计算，具备扩展至大规模视觉任务的潜力。