[论文解读] Submodular Combinatorial Information Measures with Applications in Machine Learning

Rishabh Iyer, Ninad Khargonkar+2 more|arXiv (Cornell University)|Jun 27, 2020

Complexity and Algorithms in Graphs参考文献 46被引用 15

一句话总结

本文引入了基于子模函数的组合信息度量，将经典信息论量（如熵和互信息）推广至组合设置。在三阶导数非负的条件下，证明了子模互信息是子模的，从而为数据摘要、聚类和鲁棒划分等应用提供了高效优化方法，并结合可扩展算法实现近似保证。

ABSTRACT

Information-theoretic quantities like entropy and mutual information have found numerous uses in machine learning. It is well known that there is a strong connection between these entropic quantities and submodularity since entropy over a set of random variables is submodular. In this paper, we study combinatorial information measures that generalize independence, (conditional) entropy, (conditional) mutual information, and total correlation defined over sets of (not necessarily random) variables. These measures strictly generalize the corresponding entropic measures since they are all parameterized via submodular functions that themselves strictly generalize entropy. Critically, we show that, unlike entropic mutual information in general, the submodular mutual information is actually submodular in one argument, holding the other fixed, for a large class of submodular functions whose third-order partial derivatives satisfy a non-negativity property. This turns out to include a number of practically useful cases such as the facility location and set-cover functions. We study specific instantiations of the submodular information measures on these, as well as the probabilistic coverage, graph-cut, and saturated coverage functions, and see that they all have mathematically intuitive and practically useful expressions. Regarding applications, we connect the maximization of submodular (conditional) mutual information to problems such as mutual-information-based, query-based, and privacy-preserving summarization -- and we connect optimizing the multi-set submodular mutual information to clustering and robust partitioning.

研究动机与目标

• 将经典信息论度量（熵、互信息）推广至组合设置，利用子模函数实现。
• 建立子模互信息本身为子模的条件，以实现高效优化。
• 开发最大化子模（条件）互信息的优化框架，适用于基于查询的摘要与隐私保护数据选择。
• 将多集子模互信息应用于聚类与鲁棒划分，确保多样性与最坏情况性能。

提出的方法

• 通过子模函数提出信息度量的一般化方法，定义子模熵、子模互信息与条件子模互信息。
• 引入二阶超模函数（三阶偏导数非负）的概念，以确保子模互信息的子模性。
• 构建约束优化框架，用于在基数约束与子模约束下最大化子模互信息。
• 利用子模汉明度量作为子模信息距离的代理，实现多项式时间近似。
• 将该框架应用于实际问题：基于查询的摘要、隐私保护数据选择，以及通过多集互信息实现的鲁棒聚类。
• 采用 SCSK（子模基数与子模背包）框架求解约束最大化问题，并提供理论近似保证。

实验结果

研究问题

• RQ1 当一个变量固定时，子模互信息在另一变量上为子模的条件是什么？
• RQ2 在基数约束与子模约束下，如何高效优化子模互信息？
• RQ3 子模互信息能否用于建模鲁棒划分与多样化聚类？
• RQ4 子模信息度量如何在随机变量之外推广经典信息论量？
• RQ5 使用子模汉明度量估计子模信息距离的近似质量如何？

主要发现

• 当函数为二阶超模（三阶偏导数非负）时，子模互信息在某一变量上为子模。
• 子模汉明度量对子模信息距离提供 (1−κf)-近似，从而实现多项式时间最小化。
• 最大化子模互信息可实现鲁棒划分，因其最大化了多个集合中的最小覆盖。
• 多集互信息目标等价于一个鲁棒优化问题，即最大化不同划分中的最小性能。
• 该框架通过子模互信息最大化，实现了基于查询与隐私保护摘要的高效可扩展优化。
• 所提出的优化框架通过 SCSK 框架实现约束子模最大化问题的理论近似保证。