[论文解读] STN-Homography: estimate homography parameters directly

Qiang Zhou, Xin Li|arXiv (Cornell University)|Jun 6, 2019

Advanced Image and Video Retrieval Techniques参考文献 20被引用 5

一句话总结

该论文提出 STN-Homography，一种基于 CNN 的新方法，通过空间变换网络（STN）直接回归归一化的 $3\times3$ 单应矩阵，避免了对四点参数化的依赖。通过利用坐标归一化降低元素方差，该模型在 MSCOCO 数据集上实现了最先进（SOTA）的精度，角点误差均值仅为 2.14 像素，且在 GPU 上单次推理仅需 4.87 毫秒。

ABSTRACT

In this paper, we introduce the STN-Homography model to directly estimate the homography matrix between image pair. Different most CNN-based homography estimation methods which use an alternative 4-point homography parameterization, we use prove that, after coordinate normalization, the variance of elements of coordinate normalized $3 imes3$ homography matrix is very small and suitable to be regressed well with CNN. Based on proposed STN-Homography, we use a hierarchical architecture which stacks several STN-Homography models and successively reduce the estimation error. Effectiveness of the proposed method is shown through experiments on MSCOCO dataset, in which it significantly outperforms the state-of-the-art. The average processing time of our hierarchical STN-Homography with 1 stage is only 4.87 ms on the GPU, and the processing time for hierarchical STN-Homography with 3 stages is 17.85 ms. The code will soon be open sourced.

研究动机与目标

• 解决基于 CNN 的单应矩阵估计中四点参数化方法存在的局限性，该方法因旋转、平移、缩放和剪切分量大小差异导致梯度不平衡。
• 证明坐标归一化后的单应矩阵元素具有较低方差，使其适合通过 CNN 进行直接回归。
• 设计分层式与序列式 STN-Homography 架构，以迭代方式优化单应矩阵预测并提升精度。
• 实现序列模型的端到端训练，无需中间阶段的真实单应矩阵监督，从而增强模型鲁棒性与泛化能力。
• 在 MSCOCO 数据集上实现优于现有方法的性能，同时保持极低的推理延迟。

提出的方法

• 使用变换矩阵 $M = \begin{bmatrix}\frac{2}{W}&0&-1\\ 0&\frac{2}{H}&-1\\ 0&0&1\end{bmatrix}$ 对像素坐标进行归一化，将单应矩阵 $H_{ba}$ 归一化为 $\overline{H}_{ba} = M H_{ba} M^{-1}$，以降低元素方差。
• 使用空间变换网络（STN）直接从图像对预测归一化单应矩阵 $\overline{H}_{ba}$，绕过四点参数化过程。
• 设计一种分层式 STN-Homography 模型，通过堆叠多个 STN-Homography 模块，使每一阶段利用预测的单应矩阵对输入特征进行重采样并逐步优化。
• 引入一种序列式 STN-Homography 模型，以原始图像对作为输入，实现端到端训练，其中每一阶段使用前一阶段的特征图作为输入。
• 实现可微分的张量单应矩阵合并层，用于计算复合单应矩阵 $\overline{H}_2 = \overline{H}_2' \overline{H}_1$ 和 $\overline{H}_3 = \overline{H}_3' \overline{H}_2$，以支持多阶段优化。
• 采用归一化单应矩阵预测的 L2 损失与扭曲图像块的 L1 光度损失相结合的方式进行训练，当缺少真实单应矩阵时，可实现半监督训练。

实验结果

研究问题

• RQ1 在坐标归一化后，CNN 是否能够直接回归 $3\times3$ 单应矩阵，从而在性能上超越四点参数化方法？
• RQ2 归一化后单应矩阵元素的低方差是否能提升训练效率并改善回归精度？
• RQ3 分层式或序列式 STN-Homography 架构是否能够通过迭代方式降低估计误差，并优于现有基于 CNN 的单应矩阵估计方法？
• RQ4 将归一化单应矩阵预测的 L2 损失与图像块光度损失的 L1 损失相结合，能在多大程度上提升模型的鲁棒性与泛化能力？
• RQ5 序列式 STN-Homography 模型是否可以实现端到端训练，而无需中间阶段的真实单应矩阵监督？

主要发现

• 所提出的 STN-Homography 模型在 MSCOCO 数据集上采用两阶段序列模型时，实现了 2.14 像素的平均角点误差，优于两阶段分层模型（2.6 像素）。
• 单阶段 STN-Homography 模型的平均推理时间仅为 4.87 毫秒（GPU 上），三阶段分层版本的推理时间约为 17.85 毫秒，表明其具有极高的效率。
• 在训练过程中，归一化单应矩阵预测的 L2 损失对性能的贡献比 L1 光度损失更为关键。
• 序列式 STN-Homography 模型实现了无需中间阶段真实单应矩阵监督的端到端训练，显著提升了训练灵活性。
• 该模型支持半监督训练，允许在缺乏真实单应矩阵值的情况下，仅依赖图像间的光度一致性进行训练。
• 该方法在 MSCOCO 基准测试中显著优于现有最先进方法，确立了单应矩阵估计精度的新 SOTA 水平。