[论文解读] On Invariance and Selectivity in Representation Learning

Fabio Anselmi, Lorenzo Rosasco+1 more|arXiv (Cornell University)|Mar 19, 2015

Neural dynamics and brain function参考文献 23被引用 13

一句话总结

本文提出了一种理论框架，通过在紧致群上使用非线性群平均，实现机器学习中不变且选择性表征的学习，证明此类表征在变换下具有不变性，且仅对经过变换的数据点分配相同输出。关键贡献在于通过数学证明表明，此类表征通过减小有效学习问题规模，实现了低样本复杂度。

ABSTRACT

We discuss data representation which can be learned automatically from data, are invariant to transformations, and at the same time selective, in the sense that two points have the same representation only if they are one the transformation of the other. The mathematical results here sharpen some of the key claims of i-theory -- a recent theory of feedforward processing in sensory cortex.

研究动机与目标

• 通过无监督方式学习数据表征，以应对监督机器学习中高样本复杂度的挑战。
• 形式化表征学习中不变性（对变换的不变性）与选择性（区分非等价输入）的双重要求。
• 为既具数学严谨性又具生物合理性的不变表征建立理论基础，灵感源自视觉皮层处理机制。
• 将理论扩展至多层架构与局部变换，将其与卷积神经网络及生物计算相联系。
• 证明无监督学习此类表征可显著减少下游任务对标注样本数量的需求。

提出的方法

• 通过在紧致群（如旋转）上使用非线性群平均构造在群作用下不变的表征。
• 利用哈尔测度确保不变性，并证明群平均在群作用下保持不变。
• 利用刻画概率测度与其一维投影之间关系的概率结果，建立选择性。
• 通过放松全局群结构，将框架扩展至局部变换，使其适用于非群变换。
• 将理论应用于多层架构，建模类似HMAX与卷积网络的层次特征提取过程。
• 分析池化操作的鲁棒性，表明当在特征图上一致应用时，一大类非线性函数可保持不变性与选择性。

实验结果

研究问题

• RQ1 如何学习数据表征，使其在变换下保持不变，同时具备选择性——即仅对变换下的等价数据点分配相同输出？
• RQ2 在群作用下，何种数学条件可确保表征同时具备不变性与选择性？
• RQ3 所提出的框架能否扩展至非群变换（如局部或空间变化的形变）？
• RQ4 所提出的表征学习方法如何在监督学习中降低样本复杂度？
• RQ5 该架构的生物合理性如何，尤其与视觉皮层及Hubel-Wiesel神经元模型的关系如何？

主要发现

• 在紧致群上使用非线性群平均可产生在群作用下可证明不变且选择性的表征。
• 选择性通过将测度与其一维投影关联的概率刻画定理建立。
• 当不变性条件放松为近似不变性时，框架可推广至局部变换，其条件类似于压缩感知中的无 coherence 性质。
• 当在特征图上一致应用非线性函数时，池化操作可保持不变性；而在复杂细胞间使用多样化非线性函数可增强选择性。
• 该理论提供了一种生物上合理的降维机制，通过树突分支上的赫布学习实现，使其调谐至主成分。
• 该方法支持从需要大量标注数据的监督学习，向样本复杂度低的无监督表征学习过渡，与人类学习效率相一致。