[论文解读] To Click or Not To Click: Automatic Selection of Beautiful Thumbnails from Videos

Yale Song, Мириам Реди+2 more|arXiv (Cornell University)|Sep 6, 2016

Visual Attention and Saliency Detection参考文献 33被引用 15

一句话总结

本文提出了一种自动缩略图选择系统，结合视觉美感质量和内容相关性，以识别最具吸引力和代表性的视频帧。通过分析锐度、纹理和对比度等视觉度量指标，并利用聚类方法评估内容相关性，该系统在来自 Yahoo Screen 的 1,118 个真实视频数据集上，对专业选择的缩略图预测达到了高准确率。

ABSTRACT

Thumbnails play such an important role in online videos. As the most representative snapshot, they capture the essence of a video and provide the first impression to the viewers; ultimately, a great thumbnail makes a video more attractive to click and watch. We present an automatic thumbnail selection system that exploits two important characteristics commonly associated with meaningful and attractive thumbnails: high relevance to video content and superior visual aesthetic quality. Our system selects attractive thumbnails by analyzing various visual quality and aesthetic metrics of video frames, and performs a clustering analysis to determine the relevance to video content, thus making the resulting thumbnails more representative of the video. On the task of predicting thumbnails chosen by professional video editors, we demonstrate the effectiveness of our system against six baseline methods, using a real-world dataset of 1,118 videos collected from Yahoo Screen. In addition, we study what makes a frame a good thumbnail by analyzing the statistical relationship between thumbnail frames and non-thumbnail frames in terms of various image quality features. Our study suggests that the selection of a good thumbnail is highly correlated with objective visual quality metrics, such as the frame texture and sharpness, implying the possibility of building an automatic thumbnail selection system based on visual aesthetics.

研究动机与目标

• 开发一种自动系统，从视频中选择视觉上吸引人且内容相关的缩略图，减少对人工筛选的依赖。
• 解决大规模视频制作中因时间和资源限制而难以进行人工选择的缩略图选择挑战。
• 使用大规模真实世界数据集对现有方法进行评估，该数据集包含由专业人士精心挑选的缩略图。
• 研究区分高质量缩略图与非缩略图的客观视觉特征，从而实现基于数据的缩略图选择。
• 探索基于计算美学和视觉质量度量构建自动缩略图选择系统的可行性。

提出的方法

• 系统分析每个视频帧的视觉质量和美学度量，如锐度、对比度、纹理（通过 GLCM 计算）、亮度和色彩分布。
• 对帧特征应用聚类（k-means）以识别最具代表性的内容聚类，确保所选缩略图与视频主要内容相关。
• 在流水线早期过滤低质量帧和近似重复帧，以提高计算效率并集中关注有前景的候选帧。
• 系统仅使用无监督学习（聚类）而无需训练数据或深度学习，可在标准硬件上实现快速推理。
• 基于客观视觉质量特征的加权组合对帧的吸引力进行评分，其中锐度和对比度是最重要的预测因子。
• 采用基于 Yahoo Screen 的 1,118 个视频数据集建立评估协议，其中缩略图由专业编辑人工选择。

实验结果

研究问题

• RQ1 哪些视觉质量度量最能预测专业缩略图的选择？
• RQ2 通过视觉特征聚类衡量的内容相关性在选择代表性缩略图方面起到何种作用？
• RQ3 客观视觉度量（如锐度、纹理和对比度）在多大程度上能预测人工选择的缩略图？
• RQ4 在真实世界的专业缩略图数据集上，所提出的系统与六种基线方法相比性能如何？
• RQ5 美学质量与内容相关性在决定缩略图质量方面，其相对重要性如何？

主要发现

• 所提出的系统在来自 Yahoo Screen 的 1,118 个视频数据集上，对专业视频编辑选择的缩略图预测性能优于六种基线方法。
• 根据 χ² 检验结果，锐度和对比度分别是区分缩略图与非缩略图的第二和第四大显著视觉特征。
• 编辑选择的缩略图在 GLCM 特征中表现出更高的纹理熵和对比度，以及更低的能量和同质性，表明其构图更复杂且信息量更丰富。
• 缩略图通常具有更高的色相对比度（色彩多样性），并避免使用主导色或深色，低亮度等级分位数表明其不过于昏暗。
• 该系统在标准笔记本电脑上使用单核 CPU 即可在视频长度的 10% 以内生成缩略图，展示了极高的计算效率。
• 本研究发现，专业缩略图选择与客观视觉质量度量高度相关，表明计算美学可有效指导自动选择。