[论文解读] Provable Non-Convex Optimization and Algorithm Validation via Submodularity

Yatao Bian|arXiv (Cornell University)|Jan 1, 2019

Complexity and Algorithms in Graphs参考文献 87被引用 2

一句话总结

本论文提出连续次模性作为可证明非凸优化的框架，为最大化非凸、非凹函数提供了高效近似算法与理论保证。此外，通过信息论算法验证方法分析MaxCut算法，揭示了不同算法在鲁棒性方面的差异，其依据为算法信息内容。

ABSTRACT

Submodularity is one of the most well-studied properties of problem classes in combinatorial optimization and many applications of machine learning and data mining, with strong implications for guaranteed optimization. In this thesis, we investigate the role of submodularity in provable non-convex optimization and validation of algorithms. A profound understanding which classes of functions can be tractably optimized remains a central challenge for non-convex optimization. By advancing the notion of submodularity to continuous domains (termed "continuous submodularity"), we characterize a class of generally non-convex and non-concave functions -- continuous submodular functions, and derive algorithms for approximately maximizing them with strong approximation guarantees. Meanwhile, continuous submodularity captures a wide spectrum of applications, ranging from revenue maximization with general marketing strategies, MAP inference for DPPs to mean field inference for probabilistic log-submodular models, which renders it as a valuable domain knowledge in optimizing this class of objectives. Validation of algorithms is an information-theoretic framework to investigate the robustness of algorithms to fluctuations in the input/observations and their generalization ability. We investigate various algorithms for one of the paradigmatic unconstrained submodular maximization problem: MaxCut. Due to submodularity of the MaxCut objective, we are able to present efficient approaches to calculate the algorithmic information content of MaxCut algorithms. The results provide insights into the robustness of different algorithmic techniques for MaxCut.

研究动机与目标

• 开发一种利用连续次模性优化非凸函数的理论框架。
• 为连续次模函数的最大化问题提供近似保证。
• 使用信息论鲁棒性分析方法验证子模最大化问题的算法。
• 将连续次模性与实际应用（如收益最大化、MAP推断和平均场近似）相联系。

提出的方法

• 将离散次模性扩展至连续域，提出连续次模性。
• 定义连续DR-次模函数并建立其结构特性。
• 提出基于梯度和条件梯度的算法，用于在近似保证下最大化连续次模函数。
• 利用次模性推导MaxCut算法信息内容的高效计算方法。
• 应用信息论度量，量化MaxCut算法在输入波动下的鲁棒性。
• 利用子模结构实现算法复杂度与泛化性洞察的可计算性。

实验结果

研究问题

• RQ1 连续次模性是否能够为非凸优化提供可证明的近似保证？
• RQ2 如何利用次模性来验证无约束子模最大化算法的鲁棒性？
• RQ3 MaxCut算法的算法信息内容是什么，其与鲁棒性有何关联？
• RQ4 连续子模优化在多大程度上能够建模现实世界中的机器学习与数据挖掘问题？
• RQ5 不同MaxCut算法在鲁棒性与信息内容方面有何比较差异？

主要发现

• 本文证明，连续DR-次模函数即使在通常非凸非凹的情况下，仍可获得具有常数因子保证的近似算法。
• 所提出的算法在盒约束下对连续DR-次模最大化问题实现了1/2的近似比。
• 由于目标函数的次模性，MaxCut的算法信息内容可高效计算，从而支持鲁棒性分析。
• 不同MaxCut算法表现出不同的鲁棒性，其中贪心与随机方法展现出独特的信息论特征。
• 该框架揭示，子模结构可实现算法鲁棒性与泛化性的可计算验证。
• 收益最大化、DPP推断与平均场近似等应用被证明可自然地嵌入连续子模框架中。