[论文解读] Web Video Categorization based on Wikipedia Categories and Content-Duplicated Open Resources

Zhineng Chen, Juan Cao+3 more|arXiv (Cornell University)|Aug 4, 2010

Text and Document Classification Technologies参考文献 7被引用 4

一句话总结

本文提出一种网络视频分类方法，该方法利用维基百科分类（WikiCs）和来自多种媒体形式的内容重复开放资源（CDORs）。通过从具有区分性的WikiC概念构建查询，并利用搜索引擎收集CDORs，该方法在WikiC空间中使用投票算法对视频类别进行建模，其性能优于单一资源或最先进方法。

ABSTRACT

This paper presents a novel approach for web video categorization by leveraging Wikipedia categories (WikiCs) and open resources describing the same content as the video, i.e., content-duplicated open resources (CDORs). Note that current approaches only col-lect CDORs within one or a few media forms and ignore CDORs of other forms. We explore all these resources by utilizing WikiCs and commercial search engines. Given a web video, its discrimin-ative Wikipedia concepts are first identified and classified. Then a textual query is constructed and from which CDORs are collected. Based on these CDORs, we propose to categorize web videos in the space spanned by WikiCs rather than that spanned by raw tags. Experimental results demonstrate the effectiveness of both the proposed CDOR collection method and the WikiC voting catego-rization algorithm. In addition, the categorization model built based on both WikiCs and CDORs achieves better performance compared with the models built based on only one of them as well as state-of-the-art approach.

研究动机与目标

• 解决现有视频分类方法仅在单一媒体形式内收集内容重复资源的局限性。
• 通过整合描述相同内容的异构开放资源（如文本、图像、视频）来提高视频分类的准确性。
• 开发一个统一框架，利用维基百科分类和跨媒体CDORs实现更鲁棒的视频分类。
• 与仅使用单一资源类型或最先进方法的模型进行对比，评估结合WikiCs和CDORs的有效性。

提出的方法

• 通过分析网络视频的元数据和内容，从视频中识别出具有区分性的维基百科概念。
• 基于识别出的维基百科概念构建文本查询，从商业搜索引擎中检索内容重复的开放资源（CDORs）。
• 收集描述与目标视频相同底层内容的多种媒体类型（如文本、图像、视频）的CDORs。
• 在维基百科分类（WikiCs）所张成的空间中表示视频类别，而非使用原始标签。
• 应用WikiC投票算法聚合CDOR衍生的类别预测，并分配最终的视频类别。
• 使用WikiCs和CDORs联合训练并评估分类模型，与仅使用单一资源类型的模型进行性能对比。

实验结果

研究问题

• RQ1 利用维基百科分类和跨媒体内容重复开放资源能否提升网络视频分类的准确性？
• RQ2 结合来自多种媒体形式的CDORs与仅依赖单一媒体类型的CDORs相比，表现如何？
• RQ3 基于WikiC的投票模型是否优于仅基于原始标签或单一资源方法的模型？
• RQ4 WikiCs和CDORs对整体分类性能的相对贡献是什么？
• RQ5 所提出方法与最先进视频分类技术相比表现如何？

主要发现

• 所提出的CDOR收集方法能有效从多种媒体形式中检索到相关开放资源，增强特征丰富度。
• 基于WikiC的投票分类算法在准确性上优于基于原始标签或单一资源输入的模型。
• 结合维基百科分类和CDORs的联合模型优于仅依赖其中一种资源的模型。
• 实验结果在基准数据集上的验证表明，该方法在性能上优于最先进方法。
• 异构CDORs与WikiCs的整合，构建了更鲁棒且更具区分性的视频分类框架。