[论文解读] Vis-DSS: An Open-Source toolkit for Visual Data Selection and Summarization

Rishabh Iyer, Pratik Dubal+4 more|arXiv (Cornell University)|Sep 24, 2018

Image Retrieval and Classification Techniques被引用 4

一句话总结

Vis-DSS 是一个用于视觉数据选择与摘要的开源工具包，利用子模函数优化实现图像、视频和训练数据的高效、可扩展摘要。它在视频摘要、图像集合摘要和多样化主动学习等任务中达到最先进性能，并通过记忆化技术实现显著加速。

ABSTRACT

With increasing amounts of visual data being created in the form of videos and images, visual data selection and summarization are becoming ever increasing problems. We present Vis-DSS, an open-source toolkit for Visual Data Selection and Summarization. Vis-DSS implements a framework of models for summarization and data subset selection using submodular functions, which are becoming increasingly popular today for these problems. We present several classes of models, capturing notions of diversity, coverage, representation and importance, along with optimization/inference and learning algorithms. Vis-DSS is the first open source toolkit for several Data selection and summarization tasks including Image Collection Summarization, Video Summarization, Training Data selection for Classification and Diversified Active Learning. We demonstrate state-of-the art performance on all these tasks, and also show how we can scale to large problems. Vis-DSS allows easy integration for applications to be built on it, also can serve as a general skeleton that can be extended to several use cases, including video and image sharing platforms for creating GIFs, image montage creation, or as a component to surveillance systems and we demonstrate this by providing a graphical user-interface (GUI) desktop app built over Qt framework. Vis-DSS is available at https://github.com/rishabhk108/vis-dss

研究动机与目标

• 为应对来自无人机、行车记录仪和智能手机等来源的海量冗余视觉数据管理挑战。
• 通过支持有效数据子集选择以训练视觉模型，降低机器学习中的人工标注成本。
• 将图像集合、视频、训练数据选择和主动学习等多样化的视觉摘要任务统一到单一子模优化框架下。
• 提供一个可扩展、可扩展且开源的软件工具包，支持现实世界应用，如GIF生成、监控和图像蒙太奇生成。
• 通过在真实世界数据集上的广泛基准测试，展示计算效率和最先进性能。

提出的方法

• 该框架使用子模函数对数据摘要中的多样性、覆盖度、代表性及重要性进行建模。
• 采用模块化设计，包含预处理流水线，用于提取视觉特征、场景信息、目标检测、人脸检测和颜色数据。
• 通过记忆化技术加速优化，与基于朴素Oracle的评估相比，计算时间减少数个数量级。
• 系统支持多种摘要范式：基于查询的摘要、基于实体的摘要（如人脸、目标）以及使用学习分类器的重要性摘要。
• 基于Qt框架构建的GUI桌面应用程序支持用户交互，并实现实时视觉数据摘要。
• 该工具包支持四大核心应用：图像集合摘要、视频摘要、训练数据子集选择和多样化主动学习。

实验结果

研究问题

• RQ1 子模优化如何有效应用于统一视频摘要和训练数据选择等多样化视觉摘要任务？
• RQ2 在不同摘要场景中，子模模型（多样性、覆盖度、代表性、重要性）之间的性能权衡如何？
• RQ3 记忆化技术能否显著提升大规模视觉数据（如两小时视频）的子模函数评估可扩展性？
• RQ4 该框架在现实世界应用中的表现如何，例如基于实体的摘要（如人脸、目标）和基于查询的摘要？
• RQ5 该工具包在多大程度上可被扩展并集成到实际系统中，如监控平台或内容分享应用？

主要发现

• 在基于查询的摘要中，多样性模型表现最佳，尤其在处理过采样的场景时，因其能够选择多样化帧而具备优势。
• 在实体摘要（如人脸和目标）中，代表性模型取得了最佳定量结果，能有效跳过误报并选择具有代表性的实例。
• 记忆化将两小时视频的摘要时间从数百秒缩短至1秒以内，对某些函数的加速最高达270倍。
• 该框架在所有评估任务中均达到最先进性能，包括图像集合摘要、视频摘要和训练数据子集选择。
• 与先前工作如Gygli等人[8]和SFO[18]相比，该实现平均在关键函数（如基于特征和集合覆盖）上实现了高达150倍的加速。
• GUI桌面应用程序成功实现了实时摘要，验证了该工具包在终端用户应用中的可用性和可扩展性。