[论文解读] Warped Convolutions: Efficient Invariance to Spatial Transformations

João F. Henriques, Andrea Vedaldi|arXiv (Cornell University)|Sep 14, 2016

Advanced Image and Video Retrieval Techniques参考文献 22被引用 23

一句话总结

本文提出了一种称为扭曲卷积（warped convolutions）的方法，通过在标准卷积之前对输入图像应用一个可学习的空间扭曲，实现了对连续二维参数空间变换（如旋转、缩放和3D姿态）的精确等变性。该方法在保持标准卷积计算效率的同时，在姿态估计任务中表现出色，在Google Earth和AFLW数据集上均取得了最先进性能。

ABSTRACT

Convolutional Neural Networks (CNNs) are extremely efficient, since they exploit the inherent translation-invariance of natural images. However, translation is just one of a myriad of useful spatial transformations. Can the same efficiency be attained when considering other spatial invariances? Such generalized convolutions have been considered in the past, but at a high computational cost. We present a construction that is simple and exact, yet has the same computational complexity that standard convolutions enjoy. It consists of a constant image warp followed by a simple convolution, which are standard blocks in deep learning toolboxes. With a carefully crafted warp, the resulting architecture can be made equivariant to a wide range of two-parameter spatial transformations. We show encouraging results in realistic scenarios, including the estimation of vehicle poses in the Google Earth dataset (rotation and scale), and face poses in Annotated Facial Landmarks in the Wild (3D rotations under perspective).

研究动机与目标

• 开发一种方法，将标准CNN的效率与不变性推广到超越平移的广泛连续空间变换类别。
• 克服先前广义卷积方法因重复扭曲或离散滤波器基导致的高计算成本。
• 通过单一固定图像扭曲结合标准卷积，实现对旋转、缩放和3D姿态等变换的精确等变性。
• 证明该方法可利用现有深度学习组件（如空间变压器和双线性采样）高效实现。
• 在涉及复杂变换的真实世界数据集上验证该方法，包括车辆姿态估计和3D人脸对齐。

提出的方法

• 该方法在标准卷积之前对输入图像应用一个可学习的固定空间扭曲，将输入变换到一个空间，在该空间中标准卷积对期望变换呈现等变性。
• 扭曲通过双线性插值实现，这是深度学习工具包中的标准操作，可与优化卷积核（如Winograd、FFT）兼容。
• 空间变换源自3D球面旋转在透视投影下的几何模型，将图像坐标映射到头模上的球面坐标。
• 变换由偏航角和俯仰角参数化，扭曲函数通过解析推导确保在连续旋转下实现精确等变性。
• 网络端到端训练，扭曲参数（焦距、距离和旋转）可学习或通过数值方法优化。
• 架构使用空间变压器网络（STN）作为预处理步骤以对齐人脸，随后是包含4个卷积层和最大池化的标准CNN。

实验结果

研究问题

• RQ1 我们能否在保持与标准卷积相同计算效率的前提下，实现对连续两参数空间变换（如旋转和缩放）的精确等变性？
• RQ2 能否使用固定且可学习的空间扭曲，将标准卷积转换为对复杂变换（如3D头部姿态）具有等变性的算子？
• RQ3 该方法在涉及连续变换的姿态估计任务中，是否优于非等变模型及现有架构（如STN）？
• RQ4 该方法能否利用标准深度学习组件和优化卷积例程高效实现？
• RQ5 几何建模（如球面投影）对3D姿态估计精度有何影响？

主要发现

• 在AFLW数据集上，扭曲CNN的偏航误差为7.07°，俯仰误差为5.28°，显著优于CNN+FC基线（12.56°和6.59°）和STN基线（13.65°和7.22°）。
• 该方法在Google Earth数据集上的车辆姿态估计任务中达到最先进性能，表现出对旋转和缩放的鲁棒性。
• 所提方法的计算复杂度与标准卷积保持一致，可高效利用Winograd和FFT等优化GPU内核。
• 性能提升归因于架构对3D旋转的精确等变性，而非STN或全连接层的使用。
• 该方法成功处理了连续变换，而先前方法依赖于旋转或缩放的离散化。
• 在透视投影下，球面投影的几何建模对准确的3D姿态估计至关重要，所推导的扭曲函数确保了精确等变性。