[论文解读] On the effect of pooling on the geometry of representations

Gary Bécigneul|arXiv (Cornell University)|Mar 20, 2017

Digital Image Processing Techniques参考文献 21被引用 3

一句话总结

本文运用 I-理论中的微分几何方法，表明对群变换进行池化会收缩度量并降低学习表征的曲率，从而为池化如何在深度神经网络和生物视觉系统中促进解耦提供几何解释。其主要贡献在于对度量收缩的定量边界分析，将不变性与更优的表征几何结构联系起来。

ABSTRACT

In machine learning and neuroscience, certain computational structures and algorithms are known to yield disentangled representations without us understanding why, the most striking examples being perhaps convolutional neural networks and the ventral stream of the visual cortex in humans and primates. As for the latter, it was conjectured that representations may be disentangled by being flattened progressively and at a local scale. An attempt at a formalization of the role of invariance in learning representations was made recently, being referred to as I-theory. In this framework and using the language of differential geometry, we show that pooling over a group of transformations of the input contracts the metric and reduces its curvature, and provide quantitative bounds, in the aim of moving towards a theoretical understanding on how to disentangle representations.

研究动机与目标

• 为了理解为何在深度网络与灵长类腹侧流中池化会导致解耦表征，尽管其理论基础有限。
• 通过微分几何与 I-理论形式化不变性在表征学习中的作用。
• 量化群变换上的池化如何影响表征空间的度量与曲率。
• 为池化引起的度量收缩与曲率降低提供理论边界，推进解耦的几何理论。

提出的方法

• 使用 I-理论框架，将池化形式化为输入空间中群轨道上的平均操作。
• 将表征建模为黎曼流形，并分析池化如何改变诱导度量张量。
• 运用微分几何技术推导池化后度量与曲率变化的解析表达式。
• 将理论应用于平移与旋转等群作用，表明度量张量被收缩。
• 利用曲率边界量化池化如何降低表征空间的几何复杂度。
• 通过将度量收缩与灵长类视觉通路中从 V1 到 IT 皮层的渐进性变平相联系，建立理论发现与生物合理性的关联。

实验结果

研究问题

• RQ1 在深度网络中，对群变换进行池化如何影响学习表征的度量结构？
• RQ2 池化在多大程度上降低了表征流形的曲率，以及这种降低如何被量化？
• RQ3 能否使用微分几何与 I-理论形式化池化的几何效应，以解释解耦现象？
• RQ4 不变性、度量收缩与表征解耦之间的关系是什么？
• RQ5 表征空间中的这些几何变化如何与灵长类腹侧流中观察到的分层处理过程相一致？

主要发现

• 对群轨道进行池化会收缩表征空间的黎曼度量，从而减小相似特征之间的有效距离。
• 池化后，表征流形的曲率系统性降低，表明其几何结构更加平坦且更具结构性。
• 推导出定量边界，表明度量收缩因子取决于群作用与输入特征的分布。
• 曲率降低意味着表征更易于通过线性分离实现，从而支持解耦。
• 池化的几何效应与从 V1 到 IT 皮层的灵长类视觉通路中观察到的渐进性变平与不变性现象一致。
• 研究结果为池化为何能导致解耦表征提供了理论基础，即使在无显式监督的情况下亦成立。