[论文解读] Submodularity In Machine Learning and Artificial Intelligence

Jeff Bilmes|arXiv (Cornell University)|Jan 31, 2022

Rough Sets and Fuzzy Logic被引用 14

一句话总结

本文对机器学习与人工智能中的子模性进行了全面综述，展示了子模函数如何使离散问题（如数据摘要、特征选择和主动学习）的优化更加高效。它将子模函数呈现为构建压缩集、设计结构化范数以及改进概率建模的有效工具，并提供了最大化、最小化及连续扩展的理论基础与实用算法。

ABSTRACT

In this manuscript, we offer a gentle review of submodularity and supermodularity and their properties. We offer a plethora of submodular definitions; a full description of a number of example submodular functions and their generalizations; example discrete constraints; a discussion of basic algorithms for maximization, minimization, and other operations; a brief overview of continuous submodular extensions; and some historical applications. We then turn to how submodularity is useful in machine learning and artificial intelligence. This includes summarization, and we offer a complete account of the differences between and commonalities amongst sketching, coresets, extractive and abstractive summarization in NLP, data distillation and condensation, and data subset selection and feature selection. We discuss a variety of ways to produce a submodular function useful for machine learning, including heuristic hand-crafting, learning or approximately learning a submodular function or aspects thereof, and some advantages of the use of a submodular function as a coreset producer. We discuss submodular combinatorial information functions, and how submodularity is useful for clustering, data partitioning, parallel machine learning, active and semi-supervised learning, probabilistic modeling, and structured norms and loss functions.

研究动机与目标

• 为机器学习研究人员提供子模性与超模性的统一且易于理解的综述。
• 解决机器学习中离散优化的挑战，其中组合搜索空间对穷举方法而言难以处理。
• 展示如何构建或学习子模函数以建模多样化的机器学习目标，如摘要生成与特征选择。
• 确立子模性作为机器学习中压缩集构建、聚类和结构化正则化的原则性框架。
• 弥合子模函数的理论性质与主动学习、概率建模和深度学习等实际应用之间的鸿沟。

提出的方法

• 采用模块化近似框架，通过紧密的上界和下界模块化边界来逼近子模函数，从而实现类似平均场的推理。
• 应用洛瓦兹扩展，将离散子模函数转换为凸的连续函数，从而实现可微优化。
• 提出通过手工设计（例如，熵、覆盖度）或从数据中学习，或使用组合信息函数来构建子模函数。
• 利用连续子模扩展在大规模机器学习问题中实现可扩展优化，如数据子集选择和神经架构搜索。
• 通过 $\|x\|_f = \breve{f}(|x|)$ 引入结构化范数，其中 $\breve{f}$ 是子模函数 $f$ 的洛瓦兹扩展，从而生成凸、稀疏且具有结构的正则化项。
• 利用子模函数作为压缩集生成器，确保所选子集在模型性能方面忠实代表完整数据集。

实验结果

研究问题

• RQ1 如何有效利用子模函数设计高效且忠实的数据摘要与压缩集选择方法？
• RQ2 与传统凸松弛方法相比，使用子模函数在特征选择和正则化中具有哪些理论与实际优势？
• RQ3 子模函数如何从数据中学习或近似，以建模复杂的机器学习目标？
• RQ4 连续子模扩展如何在主动学习和神经架构搜索等离散机器学习问题中实现可扩展优化？
• RQ5 子模函数能否用于定义新型凸、结构化范数，从而提升机器学习模型的泛化能力与稀疏性？

主要发现

• 子模函数提供了一种原则化的方法来构建压缩集，可在减小数据规模的同时保持模型性能，且对近似质量具有理论保证。
• 子模函数的洛瓦兹扩展可生成凸函数，从而支持可微优化，构成凸结构化范数的基础。
• 基于子模的压缩集构建方法在数据蒸馏和特征选择中优于随机采样，尤其在捕捉多样化和代表性样本方面表现更优。
• 子模函数可从数据中学习或近似，从而实现摘要生成与主动学习目标的数据驱动设计。
• 由子模函数导出的结构化范数推广了组套索（group lasso），并能实现具有协作性、基于分组的惩罚项，从而提升模型的可解释性与性能。
• 子模优化通过利用收益递减特性，能够高效地进行概率模型中的MAP推断，将指数复杂度降低为可处理的优化问题。