[论文解读] Recurrent Ladder Networks

Isabeau Prémont-Schwarz, Alexander Ilin+4 more|arXiv (Cornell University)|Jul 28, 2017

Generative Adversarial Networks and Image Synthesis被引用 11

一句话总结

该论文提出了循环梯度网络（Recurrent Ladder Networks, RLadder），作为梯度网络的循环扩展，通过在时间上展开消息传递动态，实现了迭代推理和时序建模。该架构结合了自下而上的编码、自上而下的解码以及层间与时间步之间的横向连接，在视频建模、音乐生成和感知分组任务中实现了最先进性能，显著提升了弱监督学习的效果，并增强了对噪声输入的鲁棒性。

ABSTRACT

We propose a recurrent extension of the Ladder networks whose structure is motivated by the inference required in hierarchical latent variable models. We demonstrate that the recurrent Ladder is able to handle a wide variety of complex learning tasks that benefit from iterative inference and temporal modeling. The architecture shows close-to-optimal results on temporal modeling of video data, competitive results on music modeling, and improved perceptual grouping based on higher order abstractions, such as stochastic textures and motion cues. We present results for fully supervised, semi-supervised, and unsupervised tasks. The results suggest that the proposed architecture and principles are powerful tools for learning a hierarchy of abstractions, learning iterative inference and handling temporal information.

研究动机与目标

• 开发一种支持分层潜在变量模型中迭代推理的深度学习架构。
• 将梯度网络框架扩展至处理时序依赖性和序列数据。
• 在单一循环架构中实现对多个抽象层级——低层次重建、中层次分组和高层次分类——的联合学习。
• 通过多层次监督和消息传递动态，提升弱监督和无监督学习任务的性能。
• 通过视频数据中的运动和纹理线索，展示循环消息传递在感知分组中的有效性。

提出的方法

• RLadder采用循环架构，每个时间步均通过编码器和解码器单元堆叠完成一次完整的自下而上和自上而下传递。
• 在每个时间步 t，第 l 层的编码器单元接收来自下一层的输入（el−1(t)）、前一时间步的解码器输出（dl(t−1)）以及自身的前一状态（sl(t−1)），并通过函数 fs,l 更新其状态。
• 编码器输出 el(t) 同时向上传递至下一层，并横向传递至下一时间步。
• 第 l 层的解码器单元使用当前编码器输出 el(t) 和上一层的解码器输出 dl+1(t)，通过函数 gl 计算其输出 dl(t)。
• 通过在多个抽象层级上损失的加权和进行网络训练：输入层级的重建损失、中间层级的分割损失以及顶层的分类损失。
• 该架构通过组合不同层级的目标，支持完全监督、弱监督和无监督训练，实现时间步间的迭代优化。

实验结果

研究问题

• RQ1 梯度网络的循环扩展是否能有效建模时间步之间的迭代推理？
• RQ2 RLadder 架构是否能提升视频预测和音乐生成等时序建模任务的性能？
• RQ3 RLadder 是否能利用运动线索和随机纹理等高阶抽象实现感知分组？
• RQ4 多层次监督（重建、分割、分类）在弱监督设置下如何提升学习效率和准确性？
• RQ5 与非循环模型（如 Tagger）相比，循环结构是否能在复杂或噪声输入场景中稳定训练？

主要发现

• 在 Brodatz 纹理 MNIST 数据集上，RTagger 在 50k 标注样本下实现了 0.80 ± 0.01 的分割准确率（AMI 分数），优于 Tagger 和基线卷积网络。
• 在仅 1k 标注样本的弱监督设置下，RTagger 实现了 22.6 ± 6.2% 的分类误差，显著优于基线卷积网络的 88% 误差。
• 在 Moving MNIST 数据集上，RTagger 利用运动线索实现了 0.75 的平均 AMI 分数，表明其在对象分组任务中具有有效的感知分组能力。
• RTagger 模型在迭代过程中表现出稳定的训练进展，性能随时间逐步提升，表明其具备有效的迭代推理能力。
• RTagger 超越了非循环的 Tagger 模型，后者在 Moving MNIST 任务中 3 个随机种子中有 2 个未能成功训练，凸显了循环结构在时序建模中的优势。
• 高层分类与低层重建任务的联合优化加速了收敛并提升了泛化能力，表明不同抽象层级之间存在相互促进的关系。