[论文解读] Spatiotemporal Gabor filters: a new method for dynamic texture recognition

Wesley Nunes Gonçalves, Bruno Brandoli Machado+1 more|arXiv (Cornell University)|Jan 17, 2012

Image Retrieval and Classification Techniques参考文献 17被引用 22

一句话总结

本文提出了一种新颖的动态纹理识别方法，采用时空Gabor滤波器，通过将图像序列与一组针对不同速度和方向调谐的3D Gabor滤波器进行卷积，提取基于能量的特征以实现分类。该方法在Dyntex数据库上达到98.60%的准确率，在Traffic数据库上达到91.50%的准确率，展现出在多样化运动模式下的优异性能。

ABSTRACT

This paper presents a new method for dynamic texture recognition based on spatiotemporal Gabor filters. Dynamic textures have emerged as a new field of investigation that extends the concept of self-similarity of texture image to the spatiotemporal domain. To model a dynamic texture, we convolve the sequence of images to a bank of spatiotemporal Gabor filters. For each response, a feature vector is built by calculating the energy statistic. As far as the authors know, this paper is the first to report an effective method for dynamic texture recognition using spatiotemporal Gabor filters. We evaluate the proposed method on two challenging databases and the experimental results indicate that the proposed method is a robust approach for dynamic texture recognition.

研究动机与目标

• 为解决通过新颖滤波方法对动态纹理——静态纹理的时空扩展——进行建模的挑战。
• 探索时空Gabor滤波器这一新型滤波器类别的有效性，该滤波器结合了空间与时间敏感性，用于动态纹理识别。
• 评估滤波器参数（速度与方向）对不同运动模式下分类性能的影响。
• 基于滤波响应的能量统计量，建立动态纹理识别的基准。

提出的方法

• 该方法采用一组由参数：相位速度 $v$、方向 $ heta$ 和椭圆度 $γ=0.5$ 定义的3D时空Gabor滤波器，其高斯包络调制余弦波。
• 通过卷积将每个滤波器应用于图像序列，生成时空响应体积。
• 针对每个滤波器响应，利用能量统计量构建特征向量，计算方式为在空间和时间维度上对幅值平方求和。
• 将所有滤波器的特征向量连接起来，形成每个视频序列的综合描述符。
• 使用 $k=1$ 的k近邻分类器，在10折交叉验证方案下进行分类。
• 系统评估速度 ($v$) 与方向 ($ heta$) 的组合，以识别不同数据库的最优参数集。

实验结果

研究问题

• RQ1 时空Gabor滤波器能否通过捕捉空间与时间变化，有效建模动态纹理？
• RQ2 滤波器速度与方向的变化如何影响在真实世界动态纹理数据库上的分类准确率？
• RQ3 所提出的方法是否在动态纹理识别中优于现有方法，特别是在低速或高速运动的挑战性数据集上？
• RQ4 是否存在一种最优的速度与方向参数组合，能够在不同类型的动态纹理上实现泛化？

主要发现

• 在Dyntex数据库上，该方法针对低速动态纹理（如火焰和沸腾的水）使用低速滤波器（$v = 0.1$ 至 $1.5$ 像素/帧）时，分类准确率达到98.60%。
• 在Traffic数据库上，该方法针对车辆产生的高速运动，使用高速滤波器（$v = 0.5$ 至 $2.0$ 像素/帧）时，最高准确率达到91.50%。
• 8方向滤波器组始终优于4方向滤波器组，尽管提升幅度较小（平均不足1%），表明对于单向交通场景，超过四个方向的方位分辨率带来的增益有限。
• 每个数据库的最优速度范围与实际运动特性一致：Dyntex为低速，Traffic为高速，证实了该方法对运动动态的敏感性。
• 从每个滤波器响应中提取的能量统计量在捕捉多样化动态纹理中的判别性时空模式方面表现有效。
• 结果表明，时空Gabor滤波器是动态纹理识别中一种鲁棒且高效的特征提取方法，在两个基准数据集上均优于基线方法。