[论文解读] Sparse Transfer Learning for Interactive Video Search Reranking

Xinmei Tian, Dacheng Tao+1 more|arXiv (Cornell University)|Mar 14, 2011

Advanced Image and Video Retrieval Techniques参考文献 43被引用 35

一句话总结

本文提出了一种新型的稀疏迁移学习（STL）方法，用于交互式视频搜索重排序，通过编码用户标记的反馈来弥合语义鸿沟。通过利用成对判别学习、弹性网络正则化以实现稀疏性，以及数据分布传播，STL在TRECVID 2005–2007基准测试中优于现有方法，通过有效整合用户反馈展现出卓越的重排序性能。

ABSTRACT

Visual reranking is effective to improve the performance of the text-based video search. However, existing reranking algorithms can only achieve limited improvement because of the well-known semantic gap between low level visual features and high level semantic concepts. In this paper, we adopt interactive video search reranking to bridge the semantic gap by introducing user's labeling effort. We propose a novel dimension reduction tool, termed sparse transfer learning (STL), to effectively and efficiently encode user's labeling information. STL is particularly designed for interactive video search reranking. Technically, it a) considers the pair-wise discriminative information to maximally separate labeled query relevant samples from labeled query irrelevant ones, b) achieves a sparse representation for the subspace to encodes user's intention by applying the elastic net penalty, and c) propagates user's labeling information from labeled samples to unlabeled samples by using the data distribution knowledge. We conducted extensive experiments on the TRECVID 2005, 2006 and 2007 benchmark datasets and compared STL with popular dimension reduction algorithms. We report superior performance by using the proposed STL based interactive video search reranking.

研究动机与目标

• 为解决文本驱动视频搜索中低层次视觉特征与高层次语义概念之间的语义鸿沟问题。
• 通过在交互式搜索环境中有效整合用户交互反馈，提升重排序性能。
• 开发一种能够编码用户意图的同时保持稀疏性和判别能力的降维技术。
• 利用数据分布知识，将标记样本中的用户标记信息传播至未标记样本。
• 在交互式视频搜索重排序任务中，超越传统降维方法的表现。

提出的方法

• STL构建了一个降维模型，通过成对判别学习最大化标记的相关与无关视频样本之间的分离度。
• 通过弹性网络惩罚项强制学习子空间的稀疏性，从而确保用户意图的紧凑且可解释的表示。
• 通过建模潜在数据分布，将用户反馈从标记样本传播至未标记样本。
• 将用户标记的反馈整合到保持相关与无关视频之间判别结构的低维子空间中。
• 该方法结合迁移学习原理与稀疏编码，自适应地优化视频相关性估计。
• 最终通过变换后的特征空间执行重排序，其中用户反馈被有效编码。

实验结果

研究问题

• RQ1 用户标记的反馈能否被有效编码进低维子空间，以提升视频重排序性能？
• RQ2 在迁移学习框架中，如何联合优化稀疏性与判别能力以用于视频搜索？
• RQ3 结合数据分布知识在多大程度上能增强用户反馈向未标记视频的传播效果？
• RQ4 所提出的STL方法是否在交互式视频搜索重排序中优于标准降维技术？
• RQ5 该方法在TRECVID 2005–2007等多样化视频搜索基准上的鲁棒性如何？

主要发现

• 所提出的STL方法在TRECVID 2005、2006和2007基准数据集上的表现优于基线降维算法。
• STL通过有效的反馈编码显著缩小了低层次视觉特征与高层次用户意图之间的语义鸿沟。
• 弹性网络正则化的引入产生了稀疏子空间表示，提升了可解释性与效率。
• 利用数据分布知识传播用户反馈，增强了对未标记视频的相关性估计泛化能力。
• 该方法在TRECVID多年度评估中均展现出一致的重排序有效性提升。
• 结果证实，当通过STL处理时，交互式反馈可带来更准确、更相关的视频检索结果。