[论文解读] Tagger: Deep Unsupervised Perceptual Grouping

Klaus Greff, Antti Rasmus+4 more|arXiv (Cornell University)|Jun 21, 2016

Advanced Neural Network Applications参考文献 41被引用 4

一句话总结

Tagger 提出了一种无监督深度学习框架，通过迭代、可微的感知分组实现神经网络对输入进行分组，从而在无需先验假设的前提下将输入分割为连贯的类对象组。通过使用循环结构对组分配和表征进行联合推理的近似，该方法在杂乱多数字分类和半监督学习任务上实现了最先进性能，尽管使用全连接层，仍优于卷积神经网络。

ABSTRACT

We present a framework for efficient perceptual inference that explicitly reasons about the segmentation of its inputs and features. Rather than being trained for any specific segmentation, our framework learns the grouping process in an unsupervised manner or alongside any supervised task. By enriching the representations of a neural network, we enable it to group the representations of different objects in an iterative manner. By allowing the system to amortize the iterative inference of the groupings, we achieve very fast convergence. In contrast to many other recently proposed methods for addressing multi-object scenes, our system does not assume the inputs to be images and can therefore directly handle other modalities. For multi-digit classification of very cluttered images that require texture segmentation, our method offers improved classification performance over convolutional networks despite being fully connected. Furthermore, we observe that our system greatly improves on the semi-supervised result of a baseline Ladder network on our dataset, indicating that segmentation can also improve sample efficiency.

研究动机与目标

• 开发一种无监督学习感知分组的深度学习框架，实现对结构化多对象输入的高效推理。
• 使神经网络能够无需对对象结构或模态的先验假设，迭代优化组分配与内部表征。
• 通过将结构化分组作为归纳偏置，提升监督与半监督学习的样本效率。
• 构建一种与领域无关的系统，适用于包括视觉、音频和触觉数据在内的多种模态。
• 证明显式分组机制在复杂、杂乱输入上可超越标准卷积神经网络。

提出的方法

• 该框架使用循环神经网络对每个输入元素 $x_j$ 在 $K$ 个组中进行潜在二值组分配 $g_{k,j}$ 的迭代、近似推理。
• 采用可微的分组机制，通过随机梯度估计实现对离散组分配的反向传播。
• 通过去噪自编码器目标端到端训练模型，聚焦于学习有意义的分组与表征。
• 通过每组共享的对称子网络迭代更新组表征，实现参数共享与计算效率。
• 系统采用 Ladder 网络架构作为推理与特征学习的主干网络，并设置组特定的处理路径。
• 通过学习一个单一、共享的推理网络以泛化于不同输入配置，实现近似化，从而减少迭代计算时间。

实验结果

研究问题

• RQ1 深度神经网络能否在无需对对象结构先验假设的前提下，无监督地学习感知分组？
• RQ2 对组分配与表征进行迭代、近似推理是否能提升在复杂、杂乱多对象识别任务上的性能？
• RQ3 该分组机制是否能相比标准基线提升半监督学习中的样本效率？
• RQ4 该框架在图像以外的模态（如音频或触觉输入）上是否同样有效？
• RQ5 当配备显式分组机制时，全连接网络能否超越卷积网络？

主要发现

• 尽管采用全连接架构，Tagger 在高度杂乱的多数字图像上实现了优于强基线卷积神经网络的分类性能。
• 该方法在半监督学习中显著优于基线 Ladder 网络，仅使用 1,000 个标注样本即大幅提升准确率。
• 模型在五次迭代内收敛，表明通过端到端训练实现了高度高效的近似推理。
• 学习到的分组具有直观性，同时支持去噪与分类，表明有效发现了类对象结构。
• 该框架在不同模态间具有泛化能力，且无需卷积归纳偏置，即使在缺乏空间归纳偏置的情况下也表现有效。
• 结果表明，感知分组是一种强大的归纳偏置，可提升样本效率与模型泛化能力。