[论文解读] Robust Maximization of Non-Submodular Objectives

Ilija Bogunovic, Junyao Zhao+1 more|arXiv (Cornell University)|Feb 20, 2018

Complexity and Algorithms in Graphs参考文献 43被引用 18

一句话总结

本文提出Oblivious-Greedy，一种新颖的算法，用于在基数约束和对抗性删除约束下，对单调非次模集合函数进行鲁棒最大化。该方法首次为在最多τ = ck个元素被删除的情况下，非次模目标函数提供了常数因子近似保证，理论边界依赖于次模比和一种新的逆曲率参数，在支持选择和方差减少任务中得到验证。

ABSTRACT

We study the problem of maximizing a monotone set function subject to a cardinality constraint $k$ in the setting where some number of elements $τ$ is deleted from the returned set. The focus of this work is on the worst-case adversarial setting. While there exist constant-factor guarantees when the function is submodular, there are no guarantees for non-submodular objectives. In this work, we present a new algorithm Oblivious-Greedy and prove the first constant-factor approximation guarantees for a wider class of non-submodular objectives. The obtained theoretical bounds are the first constant-factor bounds that also hold in the linear regime, i.e. when the number of deletions $τ$ is linear in $k$. Our bounds depend on established parameters such as the submodularity ratio and some novel ones such as the inverse curvature. We bound these parameters for two important objectives including support selection and variance reduction. Finally, we numerically demonstrate the robust performance of Oblivious-Greedy for these two objectives on various datasets.

研究动机与目标

• 解决在对抗性元素删除下，非次模目标函数鲁棒最大化缺乏理论保证的问题。
• 将常数因子近似保证从次模函数扩展到更广泛的非次模目标函数类别。
• 提供在线性区间内成立的理论边界，即删除数量τ与预算k呈线性关系。
• 对支持选择和方差减少等实际目标函数，界定次模比和逆曲率等关键参数。
• 通过实证方法展示Oblivious-Greedy在真实和合成数据集中，相较于Greedy和无偏选择在鲁棒性和泛化能力上的优越性。

提出的方法

• 提出Oblivious-Greedy，一种基于改进边际增益准则的贪心式算法，旨在对最坏情况下的删除具有鲁棒性。
• 引入逆曲率参数作为新度量，用于表征非次模函数在对抗性删除下的鲁棒性。
• 利用次模比γ和逆曲率参数，建立Oblivious-Greedy的理论近似保证，证明当τ = ck且c ∈ (0,1)时，其具有常数因子性能。
• 对两类关键目标函数（支持选择和方差减少）界定次模比和逆曲率参数，其中支持选择通过(m,L)-平滑和强凹函数实现，方差减少通过高斯过程目标实现。
• 在合成数据和MNIST上设计实验，比较Oblivious-Greedy与Greedy及无偏选择在不同τ值下的表现。
• 使用逻辑回归和方差减少任务，评估在删除数量增加时，泛化误差和目标值的鲁棒性。

实验结果

研究问题

• RQ1 能否为对抗性删除下的非次模目标函数鲁棒最大化建立常数因子近似保证？
• RQ2 现有次模保证是否可扩展至τ = ck（c ∈ (0,1)）的线性区间？
• RQ3 能否利用如逆曲率等新参数来表征非次模设置下的鲁棒性？
• RQ4 对支持选择和方差减少任务，次模比和逆曲率的理论边界如何转化为实际性能？
• RQ5 在对抗性删除数量增加的情况下，Oblivious-Greedy是否在鲁棒性和泛化能力上均优于Greedy和无偏选择？

主要发现

• Oblivious-Greedy 首次在τ = ck（对任意c ∈ (0,1)）时，为非次模目标函数的鲁棒最大化提供了常数因子近似保证。
• 理论边界依赖于次模比γ和一种新引入的逆曲率参数，且对支持选择和方差减少目标函数推导出明确的边界。
• 在具有100个稀疏特征的合成数据上，Oblivious-Greedy在目标值和泛化误差方面均优于Greedy和无偏选择，且随着τ增加优势更显著。
• 在10类MNIST逻辑回归任务中，随着τ增加，Oblivious-Greedy持续优于Greedy，在τ = 45时优势明显。
• 在基于高斯过程目标的方差减少任务中，Oblivious-Greedy始终优于Greedy和无偏选择，尤其当α增大（点之间相关性降低）时表现更优。
• 随着τ增加，Greedy的性能衰减远快于Oblivious-Greedy，证实了所提方法的鲁棒性。