[论文解读] Visual Summary of Egocentric Photostreams by Representative Keyframes

Marc Bolaños, Ricard Gavaldà+3 more|RECERCAT (Consorci de Serveis Universitaris de Catalunya)|May 5, 2015

Video Analysis and Summarization参考文献 12被引用 6

一句话总结

该论文提出了一种基于无监督关键帧的自上而下方法，用于第一人称图像流的摘要生成，利用卷积神经网络（CNN）提取的视觉特征和凝聚聚类算法对事件进行分割，随后通过随机游走或最小距离算法选择代表性关键帧。该方法在盲测中获得高用户偏好，58%的投票选择其生成的摘要为最佳，显著优于随机和均匀采样基线方法。

ABSTRACT

Building a visual summary from an egocentric photostream captured by a lifelogging wearable camera is of high interest for different applications (e.g. memory reinforcement). In this paper, we propose a new summarization method based on keyframes selection that uses visual features extracted by means of a convolutional neural network. Our method applies an unsupervised clustering for dividing the photostreams into events, and finally extracts the most relevant keyframe for each event. We assess the results by applying a blind-taste test on a group of 20 people who assessed the quality of the summaries.

研究动机与目标

• 开发一种自动化的第一人称图像流视觉摘要方法，以支持轻度认知障碍（MCI）患者记忆强化。
• 利用代表性关键帧从低时间分辨率的生活记录图像中生成简洁且信息丰富的摘要。
• 确保事件分割与关键帧选择在时间上连贯且具有视觉代表性。
• 通过20名参与者的盲测实验，评估摘要质量的人工感知表现。
• 比较不同关键帧选择策略（随机游走、最小距离、随机基线）与采样方法（均匀采样）的性能。

提出的方法

• 使用预训练的卷积神经网络（CNN）从每帧中提取全局视觉描述符。
• 在CNN特征上应用无监督凝聚聚类，将图像流分割为时间连贯的事件。
• 采用分治融合（DF）策略优化聚类结果，确保时间一致性。
• 使用随机游走或最小距离算法从每个事件中选择代表性关键帧。
• 通过组合选定的关键帧构建最终视觉摘要，确保总帧数与检测到的事件数一致。
• 通过盲测实验评估摘要质量，比较四种配置：随机游走、最小距离、随机基线和均匀采样。

实验结果

研究问题

• RQ1 所提出的基于CNN的特征提取与聚类方法在将第一人称图像流分割为有意义事件方面的有效性如何？
• RQ2 在人类判断下，随机游走与最小距离两种关键帧选择策略中，哪种能产生更具代表性的帧？
• RQ3 与随机和均匀采样基线相比，所提方法在感知摘要质量方面表现如何？
• RQ4 用户在多大程度上认为生成的摘要能代表一整天的活动？
• RQ5 该方法能否生成视觉连贯且信息丰富的摘要，以支持MCI患者的记忆回忆？

主要发现

• 在用户评估中，随机游走和最小距离关键帧选择策略显著优于随机基线，分别有88%和86%的摘要被判断为能代表全天活动。
• 在直接对比中，所提方法获得58%的投票作为最佳摘要，相比随机基线提升34%，相比均匀采样基线提升41%。
• 分治融合（DF）策略提升了聚类质量，与未使用DF相比，平均Jaccard指数提高了12.5%。
• 用户对关键帧代表性的一致性评价很高，超过85%的用户回答‘是’，认为所选关键帧能代表事件。
• 两种关键帧选择方法（随机游走与最小距离）在大多数情况下选择了同一帧，表明帧选择具有高度一致性。
• 视觉摘要在信息量和时间连贯性方面均获得一致高分，支持其作为MCI患者记忆辅助工具的使用。