[论文解读] Visual Scene Representations: Sufficiency, Minimality, Invariance and Deep Approximation

Stefano Soatto, Alessandro Chiuso|arXiv (Cornell University)|Nov 27, 2014

Advanced Image and Video Retrieval Techniques被引用 7

一句话总结

本文提出了一种视觉场景表征的理论框架，将其定义为任务的最小充分统计量与不变统计量，将其与CNN、池化和归一化等常见计算机视觉方法联系起来。该框架表明，这些技术自然地源于对不变性和最小复杂度的需求，从而解释了深度学习中的经验实践。

ABSTRACT

Visual representations are defined in terms of minimal sufficient statistics of visual data, for a class of tasks, that are also invariant to nuisance variability. Minimal sufficiency guarantees that we can store a representation in lieu of raw data with smallest complexity and no performance loss on the task at hand. Invariance guarantees that the statistic is constant with respect to uninformative transformations of the data. We derive analytical expressions for such representations and show they are related to feature descriptors commonly used in computer vision, as well as to convolutional neural networks. This link highlights the assumptions and approximations tacitly assumed by these methods and explains empirical practices such as clamping, pooling and joint normalization.

研究动机与目标

• 将视觉表征定义为最小充分统计量，以在保留任务相关资讯的同时丢弃无关的变异性。
• 将对干扰变换的不变性正式化为有效视觉表征的核心属性。
• 推导此类表征的解析表达式，并将其与既有的计算机视觉方法联系起来。
• 解释为何常见的深度学习实践——如池化、截断（clamping）和归一化——在此框架下自然地浮现。

提出的方法

• 本文将视觉表征定义为给定任务的最小充分统计量，以在降低数据复杂度的同时最小化信息损失。
• 引入对干扰变换的不变性作为约束，确保表征在无信息的数据变化下保持不变。
• 利用统计决策理论和充分统计量原理，推导出此类表征的解析表达式。
• 将该理论表征与常见的特征描述子及卷积神经网络联系起来。
• 表明池化和归一化等操作是实现不变性和最小性的近似方法。
• 该方法通过将深度学习架构视为最优统计表征的近似，揭示了其中隐含的假设。

实验结果

研究问题

• RQ1 视觉表征必须具备何种属性，才能在给定任务下既充分又最小？
• RQ2 如何将对干扰变换的不变性正式整合到视觉表征的定义中？
• RQ3 为何常见的深度学习操作（如池化和归一化）在视觉表征学习中自然浮现？
• RQ4 经典特征描述子与现代卷积神经网络之间存在何种理论联系？
• RQ5 深度学习模型中的隐含假设如何与最优统计表征相关联？

主要发现

• 既最小又对干扰变换不变的理论表征，可在不损失任务性能的前提下实现视觉数据的最优压缩。
• 推导出的表征在数学上与计算机视觉中广泛使用的特征描述子相联系。
• 深度网络中的池化和归一化被证明是帮助实现不变性和降低复杂度的近似方法。
• CNN中的截断（clamping）和联合归一化被解释为在无信息变换下强制实现不变性的实用手段。
• 该框架揭示，深度学习中的许多经验实践并非随意，而是源于充分性与不变性等基本统计原理。