[论文解读] Variational Saccading: Efficient Inference for Large Resolution Images

Jason Ramapuram, Maurits Diephuis+3 more|arXiv (Cornell University)|Dec 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 53被引用 4

一句话总结

本文提出变分扫视（Variational Saccading），一种通过从代理分布中学习采样关键区域（扫视）来实现超高分辨率图像高效推理的方法，利用变分下界最大化分类似然。该方法在真实 DSLR 和 StarCraft II 数据集上实现了与完整图像 ResNet 模型相当的准确率，同时推理速度提升约 10 倍，内存消耗更低，并具备内置定位能力。

ABSTRACT

Image classification with deep neural networks is typically restricted to images of small dimensionality such as 224 x 244 in Resnet models [24]. This limitation excludes the 4000 x 3000 dimensional images that are taken by modern smartphone cameras and smart devices. In this work, we aim to mitigate the prohibitive inferential and memory costs of operating in such large dimensional spaces. To sample from the high-resolution original input distribution, we propose using a smaller proxy distribution to learn the co-ordinates that correspond to regions of interest in the high-dimensional space. We introduce a new principled variational lower bound that captures the relationship of the proxy distribution's posterior and the original image's co-ordinate space in a way that maximizes the conditional classification likelihood. We empirically demonstrate on one synthetic benchmark and one real world large resolution DSLR camera image dataset that our method produces comparable results with ~10x faster inference and lower memory consumption than a model that utilizes the entire original input distribution. Finally, we experiment with a more complex setting using mini-maps from Starcraft II [56] to infer the number of characters in a complex 3d-rendered scene. Even in such complicated scenes our model provides strong localization: a feature missing from traditional classification models.

研究动机与目标

• 解决使用标准深度学习模型对超高分辨率图像（如 4000×3000）进行分类时计算和内存成本过高的问题。
• 通过学习一种模拟人类扫视眼动的随机采样策略，实现在推理过程中的高效性。
• 提出一种严谨的变分下界，将代理分布的后验分布与原始图像的坐标空间对齐，以提升分类似然。
• 在真实世界高分辨率数据集（包括 DSLR 图像和复杂 3D 渲染游戏场景）上验证该方法的有效性。
• 在推理过程中自然提供相关图像区域的定位能力，而标准分类模型不具备此特性。

提出的方法

• 该方法使用代理分布（如下采样图像或小地图）来学习图像坐标上的后验分布，指导从全分辨率图像中采样何处。
• 推导出一种新颖的变分下界，通过将代理后验与原始图像的坐标空间对齐，以最大化条件分类似然。
• 模型基于学习到的后验执行随机扫视——即针对全分辨率图像的有目标、高分辨率裁剪采样，避免处理整张图像。
• 代理分布仅用于推断空间位置；实际分类在从原始图像中提取的全分辨率图像块上进行。
• 通过可微分的采样机制实现端到端训练，使反向传播能够穿过随机扫视选择过程。
• 对于 StarCraft II 等复杂场景，采用带替换的加权随机采样器，以缓解训练数据中的类别不平衡问题。

实验结果

研究问题

• RQ1 深度学习模型能否在显著降低内存和推理成本的前提下，实现对超高分辨率图像（如 4000×3000）的高分类准确率？
• RQ2 基于代理分布的、学习到的随机采样策略（扫视）能否在保持准确率的同时，相比全图处理在速度和内存效率上表现更优？
• RQ3 该方法是否能提供相关图像区域的内在定位能力？该能力是否可用于复杂场景理解？
• RQ4 当代理分布来自不同模态（如 3D 游戏场景的小地图）时，该方法的泛化能力如何？
• RQ5 当代理图像与原始图像处于不同模态且相关性有限时，模型是否仍能保持性能？

主要发现

• 在真实世界 DSLR 图像数据集上，该模型实现了与全图 ResNet 模型相当的分类准确率，同时将推理时间减少了约 10 倍，并降低了 GPU 内存消耗。
• 该模型表现出强大的定位能力，其扫视始终聚焦于人脸、动物毛发图案、狗鼻子等关键特征，即使在复杂场景中也表现稳定。
• 在 StarCraft II 实验中，该模型对数量计数的分类准确率为 50%，而全图 ResNet 基线为 65%，尽管使用了不同模态的代理（小地图）。
• 该模型的扫视具有明确的空间定位性，在 StarCraft II 实验中 90% 的测试扫视正确聚焦于包含陆战队员的区域，表明其具备有效的空间推理能力。
• 该方法在推理过程中自然提供定位能力，而标准分类模型不具备此特性。
• 采用带替换的加权随机采样器显著提升了模型在类别不平衡数据集上的泛化能力，尤其在 StarCraft II 场景中表现突出。