[论文解读] Probabilistic Spatial Transformer Networks

Pola Schwöbel, Frederik Warburg+3 more|arXiv (Cornell University)|Apr 7, 2020

Energy Efficient Wireless Sensor Networks参考文献 37被引用 4

一句话总结

该论文提出了一种空间变换网络（P-STN）的概率扩展，将图像变换建模为概率分布而非单一的确定性变换。通过使用蒙特卡洛推理对采样的变换进行边缘化，P-STN 提升了定位的鲁棒性，起到了学习到的数据增强作用，并在视觉和时间序列基准测试中均实现了比确定性STN更高的分类准确率和更好的模型校准效果。

ABSTRACT

Spatial Transformer Networks (STNs) estimate image transformations that can improve downstream tasks by `zooming in' on relevant regions in an image. However, STNs are hard to train and sensitive to mis-predictions of transformations. To circumvent these limitations, we propose a probabilistic extension that estimates a stochastic transformation rather than a deterministic one. Marginalizing transformations allows us to consider each image at multiple poses, which makes the localization task easier and the training more robust. As an additional benefit, the stochastic transformations act as a localized, learned data augmentation that improves the downstream tasks. We show across standard imaging benchmarks and on a challenging real-world dataset that these two properties lead to improved classification performance, robustness and model calibration. We further demonstrate that the approach generalizes to non-visual domains by improving model performance on time-series data.

研究动机与目标

• 为解决确定性空间变换网络（STNs）的脆弱性问题，即当变换预测不准确时会灾难性失败。
• 通过概率框架对图像变换中的不确定性进行建模，以提升训练稳定性和定位性能。
• 利用随机变换作为隐式的、每张图像独有的数据增强方式，以提升下游分类性能。
• 证明该方法在视觉之外的领域（如时间序列数据）也具有泛化能力，展示其更广泛的应用潜力。

提出的方法

• 提出一种图像变换的层次贝叶斯模型，用变分后验分布替代确定性变换估计。
• 使用摊销变分推断，仅使用标签信息联合训练定位网络和下游分类器。
• 通过变换的蒙特卡洛采样近似预测分布的不可计算积分：p(y|I) ≈ (1/S) Σ p(y|T_θ^s(I))，其中 S 为采样变换的数量。
• 对输入图像应用随机变换，将多个变换后的视图输入分类器，分类器在样本间聚合预测结果。
• 采用可微分的空间变换模块，其定位网络输出变换的高斯分布参数。
• 使用反向传播进行端到端训练，分类器损失基于变换样本的集成进行计算。

实验结果

研究问题

• RQ1 对变换不确定性进行建模是否能提升空间变换网络在训练和推理过程中的鲁棒性？
• RQ2 与确定性STN相比，对随机变换进行边缘化是否能带来更好的定位性能？
• RQ3 随机变换过程在多大程度上可作为有效且学习到的数据增强方式，用于下游分类任务？
• RQ4 该概率STN框架是否能泛化到非视觉领域（如时间序列数据）？
• RQ5 在基准数据集上，P-STN模型在校准性和准确率方面与标准神经网络及确定性STN相比表现如何？

主要发现

• 在旋转MNIST数据集上，P-STN在分类准确率上优于标准神经网络和确定性STN，尤其当分类器较小时，得益于有效的定位和数据增强。
• P-STN通过成功定位旋转图像，避免了STN常见的失败模式——学习恒等变换。
• 与STN相比，P-STN中预测变换的方差显著更高，表明其具有更活跃且多样的定位行为。
• P-STN改善了模型校准，相比确定性模型，能生成更可靠的预测不确定性估计。
• 该方法可泛化至时间序列数据，显著提升模型性能，证明其在视觉任务之外的应用潜力。
• P-STN的损失曲面比STN更平滑，局部极小值更少，表明其训练稳定性得到提升。