[论文解读] Web Video in Numbers - An Analysis of Web-Video Metadata

Luca Rossetto, Heiko Schuldt|arXiv (Cornell University)|Jul 5, 2017

Advanced Image and Video Retrieval Techniques参考文献 19被引用 5

一句话总结

本文分析了2016年从YouTube和Vimeo收集的超过1.2亿个网络视频的元数据，揭示了现有视频数据集与现实世界网络视频在时长、分辨率、上传速率和许可方面的显著差异。研究证明，目前常用的视频集合并不能代表当前网络视频的趋势，并提供了一个公开可获取的大规模元数据数据集，以提升未来多媒体研究的代表性。

ABSTRACT

Web video is often used as a source of data in various fields of study. While specialized subsets of web video, mainly earmarked for dedicated purposes, are often analyzed in detail, there is little information available about the properties of web video as a whole. In this paper we present insights gained from the analysis of the metadata associated with more than 120 million videos harvested from two popular web video platforms, vimeo and YouTube, in 2016 and compare their properties with the ones found in commonly used video collections. This comparison has revealed that existing collections do not (or no longer) properly reflect the properties of web video "in the wild".

研究动机与目标

• 评估现有视频集合在多大程度上能反映真实世界中‘野生’状态下的网络视频特征。
• 识别主流视频平台与常用视频数据集之间在元数据属性（如时长、分辨率、上传速率和许可）方面的关键差异。
• 提供来自YouTube和Vimeo的大规模、公开可访问的元数据数据集，以支持更具代表性的多媒体研究。
• 突出现有视频集合因筛选偏差、许可限制和内容过时而导致的局限性。
• 证明网络视频在分辨率、时长、画面比例和上传频率方面正迅速演变，使当前数据集日益过时。

提出的方法

• 使用用Java编写的分布式自定义网络爬虫，在2016年4月至7月期间从YouTube和Vimeo抓取视频元数据。
• 爬虫使用jsoup进行HTTP请求和HTML解析，以提取元数据，包括标题、描述、时长、分辨率、上传日期、许可类型和标签。
• 共收集了1亿个YouTube视频和2000万个Vimeo视频的元数据，涵盖2005年至2016年的内容。
• 收集的数据存储在PostgreSQL数据库备份中，并通过专用下载服务器公开提供。
• 分析将平台特定的元数据分布与CC_WEB_VIDEO、MCG-WEBV、IACC以及基于Flickr的数据集等既定视频集合进行了比较。
• 在关键元数据维度上进行了统计比较：视频时长、分辨率、上传速率、语言分布和许可类型。

实验结果

研究问题

• RQ1 2016年YouTube和Vimeo上的网络视频元数据属性与常用视频集合相比如何？
• RQ2 现有视频数据集在视频时长、分辨率和上传频率方面，多大程度上能代表真实世界网络视频？
• RQ3 主要视频平台与标准数据集之间在视频许可、语言使用和标签分布方面存在哪些差异？
• RQ4 2005年至2016年间，主要平台上的视频特征（如分辨率、画面比例和上传速率）如何演变？
• RQ5 平台特有的功能和内容筛选政策在多大程度上导致了现有视频集合组成的偏差？

主要发现

• 分析表明，现有视频集合（如IACC和CC_WEB_VIDEO）在视频时长和分辨率多样性方面并不能代表真实世界网络视频。
• YouTube和Vimeo上的视频在时长范围和上传速率方面显著高于来自Flickr或互联网档案馆的数据集。
• YouTube和Vimeo上的视频分辨率随时间推移而提高，且宽画幅比例的趋势日益明显，表明向电影化和智能手机友好格式的转变。
• 两个平台的网络视频上传速率从2005年到2016年呈现出明显的上升趋势，加速了网络上视频内容的整体增长。
• YouTube和Vimeo上采用知识共享许可的视频在时长和上传频率上表现出独特的模式，表明不同许可类型下的内容创作行为存在差异。
• 所有平台的视频标题和描述中，英语均为主导语言，但次要和第三语言的分布在不同平台和数据集之间存在显著差异。