[论文解读] PRISM: A Unified Framework of Parameterized Submodular Information Measures for Targeted Data Subset Selection and Summarization

Vishal Kaushal, Suraj Kothawade+3 more|arXiv (Cornell University)|Feb 27, 2021

Advanced Image and Video Retrieval Techniques参考文献 49被引用 6

一句话总结

PRISM 提出了一套参数化的子模信息度量统一框架，用于目标数据子集选择与摘要生成。该框架在标注成本约束下提升了模型性能（PRISM-TSS），并实现了高效、意图驱动的数据集摘要（PRISM-TSUM），在图像分类与图像集合摘要任务中均超越并泛化了先前方法。

ABSTRACT

With increasing data, techniques for finding smaller, yet effective subsets with specific characteristics become important. Motivated by this, we present PRISM, a rich class of Parameterized Submodular Information Measures, that can be used in applications where such targeted subsets are desired. We demonstrate the utility of PRISM in two such applications. First, we apply PRISM to improve a supervised model's performance at a given additional labeling cost by targeted subset selection (PRISM-TSS) where a subset of unlabeled points matching a target set are added to the training set. We show that PRISM-TSS generalizes and is connected to several existing approaches to targeted data subset selection. Second, we apply PRISM to a more nuanced targeted summarization (PRISM-TSUM) where data (e.g., image collections, text or videos) is summarized for quicker human consumption with additional user intent. PRISM-TSUM handles multiple flavors of targeted summarization such as query-focused, topic-irrelevant, privacy-preserving and update summarization in a unified way. We show that PRISM-TSUM also generalizes and unifies several existing past work on targeted summarization. Through extensive experiments on image classification and image-collection summarization we empirically verify the superiority of PRISM-TSS and PRISM-TSUM over the state-of-the-art.

研究动机与目标

• 为应对在标注成本约束下，高效选择能维持或提升模型性能的数据子集的日益增长需求。
• 将多种目标摘要形式——如查询聚焦、隐私保护和更新感知摘要——统一到一个原则性框架中。
• 通过灵活的参数化子模形式，泛化并扩展现有目标数据子集选择与摘要方法。
• 通过实证验证该框架在监督学习与以人为本的数据摘要应用中，相对于最先进方法的优越性。

提出的方法

• 提出一族参数化的子模信息度量（PRISM），基于用户定义的目标特征建模数据子集的效用。
• 采用子模优化方法，选择相对于目标分布或意图最大化信息增益的数据子集。
• 提出 PRISM-TSS 用于目标子集选择，即选择与目标集合匹配的未标注样本进行标注，以提升模型性能。
• 开发 PRISM-TSUM 用于目标摘要，支持基于用户意图对数据集合（如图像、视频、文本）进行灵活摘要。
• 使用统一的目标函数，通过引入参数化效用函数，泛化现有用于数据选择与摘要的子模度量。
• 应用具有理论保证的贪心优化方法，使框架在保持性能的同时可扩展至大规模数据集。

实验结果

研究问题

• RQ1 统一的子模度量框架是否能在额外标注成本下提升目标数据子集选择的性能？
• RQ2 PRISM 如何泛化或统一现有目标数据选择与摘要方法？
• RQ3 在监督学习中，PRISM-TSS 相较于最先进方法在多大程度上提升了模型性能？
• RQ4 PRISM-TSUM 是否能有效处理多样化的摘要任务，如查询聚焦、隐私保护和更新感知摘要？
• RQ5 PRISM 在真实世界数据选择与摘要基准中的实证性能如何？

主要发现

• PRISM-TSS 泛化并统一了多种现有目标数据子集选择方法，提供更灵活且原则性的框架。
• PRISM-TSUM 在单一形式化体系下统一了多种目标摘要形式，包括查询聚焦、主题无关、隐私保护和更新摘要。
• 在图像分类任务中，PRISM-TSS 在相同标注成本下实现了优于最先进方法的模型性能。
• 在图像集合摘要任务中，PRISM-TSUM 在摘要质量与用户意图契合度方面均优于现有方法。
• 大量实验表明，PRISM-TSS 与 PRISM-TSUM 在多个基准与评估指标上持续优于先前工作。
• 该框架展现出强大的可扩展性与鲁棒性，在大规模数据集上仍能保持高性能。