[论文解读] Temporal Autoencoding Restricted Boltzmann Machine

Chris Häusler, Alex Susemihl|arXiv (Cornell University)|Oct 31, 2012

Image Enhancement Techniques参考文献 24被引用 9

一句话总结

本文提出时序自编码受限玻尔兹曼机（TARBM），一种新颖的深度学习模型，通过将自编码预训练与时序受限玻尔兹曼机相结合，从自然电影中学习可解释的、随时间演化的时空特征。通过自编码初始化时序权重并施加结构化前向投影，TARBM 学习到类似 Gabor 的滤波器，这些滤波器随时间通过旋转、平移等变换而演化，在建模时序动态性和可解释性方面优于标准 CRBM。

ABSTRACT

Much work has been done refining and characterizing the receptive fields learned by deep learning algorithms. A lot of this work has focused on the development of Gabor-like filters learned when enforcing sparsity constraints on a natural image dataset. Little work however has investigated how these filters might expand to the temporal domain, namely through training on natural movies. Here we investigate exactly this problem in established temporal deep learning algorithms as well as a new learning paradigm suggested here, the Temporal Autoencoding Restricted Boltzmann Machine (TARBM).

研究动机与目标

• 将无监督特征学习从静态图像扩展到自然视频序列的时域。
• 解决现有时序模型（如 CRBM）在可解释性和长程时序依赖方面的不足。
• 提出一种新架构——TARBM，结合自编码与时序 RBM，以改进特征演化建模。
• 实现对学习到的特征如何随时间演变的可视化与解释，模拟皮层感受野的动力学特性。

提出的方法

• 提出 TARBM，一种双流架构，结合标准自编码器用于可见层到隐藏层及反向的重建，以及时序 RBM 用于建模序列依赖关系。
• 使用自编码器权重初始化 TARBM 中的时序权重矩阵 $\mathbf{w}_1$，确保模型从有意义的空间特征开始。
• 应用前向投影方法，追踪从给定隐藏单元在延迟时间步开始的最可能的隐藏单元激活序列。
• 采用树状结构可视化方法，映射隐藏单元在多个延迟步长上的概率演化过程，每步选择最可能的 $n$ 个单元。
• 使用对比发散法训练时序 RBM 模块，结合稀疏性约束和小批量优化以稳定学习过程。
• 通过投影感受野随时间的演化，可视化时序滤波器，展示旋转、平移等变换过程。

实验结果

研究问题

• RQ1 如何将无监督特征学习从静态图像扩展到自然视频序列？
• RQ2 自编码预训练能否提升受限玻尔兹曼机在时序特征学习中的表现？
• RQ3 TARBM 的时序滤波器如何随时间演化？这些演化能否被有意义地解释为对空间特征的变换？
• RQ4 与标准 CRBM 相比，TARBM 在建模长程时序依赖关系和特征动态方面具有哪些优势？
• RQ5 所学习的时序滤波器在多大程度上与视觉系统中皮层感受野的功能特性相似？

主要发现

• TARBM 在时间 $t$ 处成功学习到类似 Gabor 的空间滤波器，随后通过旋转、平移等结构化变换随时间演化。
• 与 CRBM 在 $d=1$ 之后无法捕捉有意义时序依赖不同，TARBM 由于分层训练与权重初始化，保持了可解释且长程的时序动态。
• 前向投影方法实现了对隐藏单元时序演化的清晰可视化，揭示每个隐藏单元的感受野在延迟期内经历一系列变换。
• 当 $n=3$ 时，TARBM 可建模多个可能的未来激活路径，展示了其利用树状依赖模型表示复杂时序动态的能力。
• 与 CRBM 的滤波器相比，TARBM 的滤波器更具可解释性，因其反映的是空间特征的连贯变换，而非随机或无结构的变化。
• 自编码与时序 RBM 的结合显著提升了模型在建模与生成序列运动数据方面的性能，该结果在 Hollywood2 数据集上得到验证。