[论文解读] Tight Approximation of Image Matching

Simon Korman, Daniel Reichman+1 more|arXiv (Cornell University)|Nov 7, 2011

Advanced Image and Video Retrieval Techniques参考文献 17被引用 5

一句话总结

本文提出了在仿射变换和强度变换下，对两个 $n\times n$ 灰度图像进行图像匹配近似计算的亚线性算法。对于一般图像，其查询复杂度为 $\tilde{O}(n/\epsilon^2)$；对于总梯度变差为 $O(n)$ 的平滑图像，复杂度显著降低至 $\tilde{O}(1/\epsilon^2\delta^8)$，并实现了 $O(\delta + \epsilon)$ 的加法误差。

ABSTRACT

In this work we consider the {\em image matching} problem for two grayscale $n imes n$ images, $M_1$ and $M_2$ (where pixel values range from 0 to 1). Our goal is to find an affine transformation $T$ that maps pixels from $M_1$ to pixels in $M_2$ so that the differences over pixels $p$ between $M_1(p)$ and $M_2(T(p))$ is minimized. Our focus here is on sublinear algorithms that give an approximate result for this problem, that is, we wish to perform this task while querying as few pixels from both images as possible, and give a transformation that comes close to minimizing the difference. We give an algorithm for the image matching problem that returns a transformation $T$ which minimizes the sum of differences (normalized by $n^2$) up to an additive error of $ε$ and performs $ ilde{O}(n/ε^2)$ queries. We give a corresponding lower bound of $Ω(n)$ queries showing that this is the best possible result in the general case (with respect to $n$ and up to low order terms). In addition, we give a significantly better algorithm for a natural family of images, namely, smooth images. We consider an image smooth when the total difference between neighboring pixels is O(n). For such images we provide an approximation of the distance between the images to within an additive error of $ε$ using a number of queries depending polynomially on $1/ε$ and not on $n$. To do this we first consider the image matching problem for 2 and 3-dimensional {\em binary} images, and then reduce the grayscale image matching problem to the 3-dimensional binary case.

研究动机与目标

• 设计亚线性算法，以最少的像素查询次数近似计算两个 $n\times n$ 灰度图像之间的图像匹配。
• 在仿射变换和强度变换下，最小化变换后图像 $M_1$ 与目标图像 $M_2$ 之间的距离。
• 在使用亚线性查询复杂度的前提下，使归一化差值和的加法误差达到 $\epsilon$。
• 针对总梯度变差为 $O(n)$ 的平滑图像，提供更紧致的近似。

提出的方法

• 通过将像素强度 $g$ 编码为第三维中 $\lfloor gn \rfloor$ 个 1 的列，将二维灰度图像匹配问题转化为三维二值图像匹配问题。
• 使用 $\delta n$-覆盖的受限三维仿射变换，该变换保持二维仿射分量不变，并对强度（第三维）进行缩放和移动。
• 应用随机采样与估计技术，近似计算在覆盖中最佳变换下的图像间距离。
• 利用平滑图像的结构特性——即相邻像素差值的总变差为 $O(n)$——实现与 $n$ 无关的查询复杂度，仅依赖于 $1/\epsilon$ 和 $1/\delta$。
• 证明原始灰度图像之间的距离等于其对应三维二值表示在相应变换下的距离。
• 利用集中不等式和概率分析，确保在高概率下实现 $O(\delta + \epsilon)$ 的加法误差近似。

实验结果

研究问题

• RQ1 在仿射变换和强度变换下，是否可以使用亚线性查询复杂度对一般灰度图像进行图像匹配近似？
• RQ2 对于一般图像，近似误差 $\epsilon$ 与查询复杂度之间的最优权衡是什么？
• RQ3 对于总梯度变差有界的平滑图像，是否可以实现显著更低的查询复杂度？
• RQ4 从二维灰度图像到三维二值图像的约化过程，在变换下是否保持了图像匹配距离？
• RQ5 在一般情况下，近似图像匹配的查询复杂度是否存在理论下界？

主要发现

• 对于一般 $n\times n$ 灰度图像，该算法使用 $\tilde{O}(n/\epsilon^2)$ 次查询，实现了 $O(\epsilon)$ 的加法误差，该结果在对数因子范围内为最优。
• 证明了 $\Omega(n)$ 次查询的匹配下界，表明 $\tilde{O}(n/\epsilon^2)$ 是一般图像下最优的亚线性复杂度。
• 对于总梯度变差为 $O(n)$ 的平滑图像，查询复杂度降低至 $\tilde{O}(1/\epsilon^2\delta^8)$，与 $n$ 无关，加法误差为 $O(\delta + \epsilon)$。
• 从二维灰度图像到三维二值图像的约化过程保持了变换下的距离，从而可复用现有的二值图像算法。
• 该算法使用 $\delta n$-覆盖的受限三维仿射变换，以高概率高效近似最优变换。
• 通过结合随机采样与图像平滑性的结构假设，该方法实现了紧致近似，在平滑输入上显著优于一般情况下的界。