[论文解读] On multi-view feature learning

Roland Memisevic|arXiv (Cornell University)|Jun 18, 2012

Advanced Vision and Imaging参考文献 12被引用 25

一句话总结

本文提出了一种多视角特征学习的理论框架，表明深层模型中的隐层单元通过分析多个图像形变之间的共享特征空间，能够检测变换参数（如旋转角度）。该研究解释了在视频数据上训练时，特定于变换的特征如何涌现，并表明变换不变特征作为学习这些变换的副产品自然产生。

ABSTRACT

Sparse coding is a common approach to learning local features for object recognition. Recently, there has been an increasing interest in learning features from spatio-temporal, binocular, or other multi-observation data, where the goal is to encode the relationship between images rather than the content of a single image. We provide an analysis of multi-view feature learning, which shows that hidden variables encode transformations by detecting rotation angles in the eigenspaces shared among multiple image warps. Our analysis helps explain recent experimental results showing that transformation-specific features emerge when training complex cell models on videos. Our analysis also shows that transformation-invariant features can emerge as a by-product of learning representations of transformations.

研究动机与目标

• 理解深层模型从多视角数据（如视频或双目输入）中学习特征的机制。
• 解释在时空数据上训练的复杂细胞模型中，为何会出现特定于变换的特征。
• 研究变换不变表示如何作为学习表示变换的副产品而出现。
• 提供一个理论分析，将隐层单元激活与多个图像形变共享特征空间中的几何变换联系起来。

提出的方法

• 分析在相同图像的多个形变版本上训练的深层自编码器中隐层表征的结构。
• 识别不同图像变换（如旋转、平移）之间的共享特征空间，以提取变换参数。
• 使用谱分解从形变图像块的共享子空间中提取旋转角度。
• 证明模型中的隐层单元对共享特征空间中编码的特定变换参数具有选择性响应。
• 将该分析应用于在视频序列上训练的复杂细胞模型，以解释观察到的特定于变换的特征的出现。
• 表明当模型学习在不同视角间表示变换时，变换不变特征自然出现。

实验结果

研究问题

• RQ1 深层模型中的隐层单元如何在多个视角中编码如旋转和平移等几何变换？
• RQ2 共享特征空间在多视角特征学习中检测变换参数时起到什么作用？
• RQ3 为何在视频数据上训练的复杂细胞模型中会出现特定于变换的特征？
• RQ4 在多视角设置中，能否作为表示变换的副产品学习到变换不变特征？
• RQ5 深层表征中特定于变换和不变特征的出现背后的理论机制是什么？

主要发现

• 深层模型中的隐层单元通过在多个图像形变之间的共享特征空间上进行投影，检测变换参数（如旋转角度）。
• 该分析解释了为何在视频上训练的复杂细胞模型中会出现特定于变换的特征，因为这些特征与共享空间中的主特征向量对齐。
• 变换不变特征在无需显式不变性约束的情况下，作为学习表示变换的副产品自然出现。
• 多个图像形变之间的共享特征空间编码了变换参数，使模型能够显式解耦并表示这些参数。
• 对图像形变进行谱分析表明，共享子空间中的主导模式对应于旋转和平移参数。
• 该理论框架为视频训练模型中特征出现的实验观察提供了统一的解释。