[论文解读] Non-Parametric Transformation Networks

Dipan K. Pal, Marios Savvides|arXiv (Cornell University)|Jan 14, 2018

Graph Theory and Algorithms参考文献 34被引用 3

一句话总结

该论文提出非参数变换网络（NPTNs），一种新型深度卷积架构，可直接从数据中学习通用不变性与对称性，而无需对变换形式做参数化假设。NPTNs 通过在非参数学习的滤波器上进行变换池化，推广了卷积神经网络（ConvNets）的机制，使在 MNIST、CIFAR10 和 ETH-80 上使用相同参数量时性能更优，并通过用 NPTN 模块替换其卷积层，显著提升了胶囊网络（Capsule Networks）的性能。

ABSTRACT

ConvNets, through their architecture, only enforce invariance to translation. In this paper, we introduce a new class of deep convolutional architectures called Non-Parametric Transformation Networks (NPTNs) which can learn extit{general} invariances and symmetries directly from data. NPTNs are a natural generalization of ConvNets and can be optimized directly using gradient descent. Unlike almost all previous works in deep architectures, they make no assumption regarding the structure of the invariances present in the data and in that aspect are flexible and powerful. We also model ConvNets and NPTNs under a unified framework called Transformation Networks (TN), which yields a better understanding of the connection between the two. We demonstrate the efficacy of NPTNs on data such as MNIST with extreme transformations and CIFAR10 where they outperform baselines, and further outperform several recent algorithms on ETH-80. They do so while having the same number of parameters. We also show that they are more effective than ConvNets in modelling symmetries and invariances from data, without the explicit knowledge of the added arbitrary nuisance transformations. Finally, we replace ConvNets with NPTNs within Capsule Networks and show that this enables Capsule Nets to perform even better.

研究动机与目标

• 开发一种深度学习架构，可在不假设变换参数形式的前提下，直接从数据中学习通用不变性与对称性。
• 通过将卷积神经网络（ConvNets）的不变性机制从平移扩展至任意、由数据观测到的变换，实现对 ConvNets 的推广。
• 在保持计算效率与内存效率的同时，支持使用标准优化方法（如随机梯度下降 SGD）进行端到端训练。
• 证明通过架构设计直接建模不变性（而非依赖数据增强或辅助目标），可在视觉基准测试中实现性能提升。
• 将 NPTNs 集成到新兴架构（如胶囊网络）中，以增强其不变性学习能力与整体性能。

提出的方法

• NPTNs 基于一个统一的框架——变换网络（Transformation Networks, TN），该框架通过将固定的权重共享替换为可学习的非参数变换，推广了卷积神经网络（ConvNets）。
• 每个 NPTN 节点使用一组 $|G|$ 个经变换的滤波器（模板）执行卷积操作，这些滤波器由基础滤波器 $w$ 经变换 $g$ 得到。
• 输出通过输入感受野与每个变换滤波器的点积计算，生成 $|G|$ 个标量响应。
• 通过最大池化对 $|G|$ 个通道（代表不同变换）进行变换池化，得到对 $G$ 中编码变换保持不变的输出。
• 网络使用标准反向传播与随机梯度下降（SGD）进行训练，训练或推理过程中无需显式变换输入、激活或滤波器。
• 该方法支持与现有架构（如胶囊网络）集成，通过将标准卷积层替换为 NPTN 层，同时保持参数数量不变。

实验结果

研究问题

• RQ1 深度神经网络架构能否在不预先设定结构假设的前提下，直接从数据中学习任意非参数变换的通用不变性？
• RQ2 当在参数量受限的条件下，NPTNs 在具有复杂变换的基准测试中与标准 ConvNets 相比表现如何？
• RQ3 通过用 NPTN 模块替换其卷积组件，NPTNs 能在多大程度上提升如胶囊网络等最先进架构的性能？
• RQ4 通过架构设计（即变换池化）学习不变性，是否优于依赖数据增强或辅助损失的不变性强制方法？
• RQ5 当底层变换群未知或复杂时，NPTNs 是否仍能有效建模对称性与不变性？

主要发现

• 在 MNIST 上，NPTNs 在极端变换下优于原始 ConvNets，测试误差显著更低，尽管通道数更少且参数量相同。
• 在 CIFAR10 上，NPTNs 在相同参数预算下表现出比基线 ConvNets 更优的泛化能力，证明其在自然图像数据上具有更强的不变性学习能力。
• 在 ETH-80 上，NPTNs 超过了多种近期最先进算法（包括使用数据增强和辅助损失的方法），且参数量完全一致。
• 当用 NPTN 层替换胶囊网络中的卷积层时，测试误差从 1.90% 降至 0.78%，且通道数仅为原来的三分之一，表现出显著的性能提升。
• 胶囊网络中采用 NPTNs 后的性能提升表明，在每个胶囊内建模不变性可显著增强整体表征学习与物体识别能力。
• NPTNs 在无需事先知晓变换群信息的情况下，仍能有效学习不变性，证明其可直接从数据中捕捉复杂、非参数化的对称性。