[论文解读] Visual Scene Representations: Scaling and Occlusion in Convolutional Architectures

Stefano Soatto, Jingming Dong+1 more|arXiv (Cornell University)|Jan 1, 2014

Image and Object Detection Techniques被引用 4

一句话总结

本文通过将视觉场景在缩放和遮挡下的表示形式化为对干扰因素不变的最小充分统计量，推导出其解析表达式。该研究将这些理论表示与计算机视觉中常见的特征相联系，揭示了其隐含假设，并通过群不变性与采样理论原则，为特征的泛化与改进提供了路径。

ABSTRACT

We study the structure of representations, defined as approximations of minimal sufficient statistics that are maximal invariants to nuisance factors, for visual data subject to scaling and occlusion of line-of-sight. We derive analytical expressions for such representations and show that, under certain restrictive assumptions, they are related to features commonly in use in the computer vision community. This link highlights the condition tacitly assumed by these descriptors, and also suggests ways to improve and generalize them. This new interpretation draws connections to the classical theories of sampling, hypothesis testing and group invariance.

研究动机与目标

• 将视觉场景表征形式化为对缩放和遮挡等干扰因素不变的最小充分统计量。
• 识别广泛使用的计算机视觉描述子背后的理论假设。
• 通过群不变性与采样理论原则，对现有特征进行泛化。
• 建立视觉表征学习与经典统计理论之间的联系。

提出的方法

• 推导对缩放和遮挡具有最大不变性的表征的解析表达式。
• 应用群不变性理论原则，刻画这些表征的结构。
• 利用采样理论与假设检验框架，验证所推导特征的充分性与不变性。
• 将推导出的表征与计算机视觉中现有的描述子相联系，揭示其隐含假设。
• 制定条件，使常见特征成为所提通用理论框架下的特例。
• 证明该理论框架为扩展与改进现有特征描述子提供了原则性基础。

实验结果

研究问题

• RQ1 如何将视觉场景表征正式定义为对缩放与遮挡不变？
• RQ2 常见计算机视觉特征作为有效表征，必须满足哪些理论条件？
• RQ3 经典采样理论与假设检验理论如何与视觉特征设计相关联？
• RQ4 在何种方式下，可利用所提出的不变表征框架对现有特征进行泛化？
• RQ5 对干扰变换不变的最小充分统计量的数学结构是什么？

主要发现

• 本文推导出对缩放与遮挡不变的视觉表征的解析表达式，将其确立为最小充分统计量。
• 研究揭示了广泛使用的计算机视觉特征隐含地假设了特定的不变性属性，这些属性现已被正式刻画。
• 理论框架将视觉表征学习与经典统计理论（包括采样与假设检验）联系起来。
• 所推导的表征通过明确其底层假设，实现了对现有特征的泛化，并支持系统性改进。
• 研究表明，在所提不变框架的限制性假设下，SIFT或HOG等特征可作为特例出现。
• 结果表明，通过利用群不变性与充分统计量，可提出新的鲁棒视觉特征设计原则。