[论文解读] The Landscape of Non-convex Empirical Risk with Degenerate Population Risk

Shuang Li, Gongguo Tang+1 more|arXiv (Cornell University)|Jul 11, 2019

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了一套新框架，用于分析在种群风险的海森矩阵具有零特征值的退化情形下，非凸经验风险的景观。通过在不依赖强莫尔斯假设的前提下，建立经验风险与种群风险临界点之间的直接对应关系，该框架使得能够从更简单的种群风险分析中稳健推断经验风险景观，已在矩阵感知和相位恢复问题中得到验证。

ABSTRACT

The landscape of empirical risk has been widely studied in a series of machine learning problems, including low-rank matrix factorization, matrix sensing, matrix completion, and phase retrieval. In this work, we focus on the situation where the corresponding population risk is a degenerate non-convex loss function, namely, the Hessian of the population risk can have zero eigenvalues. Instead of analyzing the non-convex empirical risk directly, we first study the landscape of the corresponding population risk, which is usually easier to characterize, and then build a connection between the landscape of the empirical risk and its population risk. In particular, we establish a correspondence between the critical points of the empirical risk and its population risk without the strongly Morse assumption, which is required in existing literature but not satisfied in degenerate scenarios. We also apply the theory to matrix sensing and phase retrieval to demonstrate how to infer the landscape of empirical risk from that of the corresponding population risk.

研究动机与目标

• 解决在种群风险海森矩阵具有零特征值的退化情形下，分析非凸经验风险的挑战。
• 克服现有方法依赖强莫尔斯假设的局限性，该假设在退化情形下失效。
• 在不依赖强莫尔斯条件的前提下，建立经验风险与种群风险临界点之间的直接对应关系。
• 提供一个理论框架，使得能够从更易处理的种群风险景观中推断经验风险景观的性质。
• 将该理论应用于矩阵感知和相位恢复等具体问题，以验证其实际应用价值。

提出的方法

• 首先分析种群风险的景观，其在退化情形下更易于刻画，尤其在退化情况下。
• 利用非强莫尔斯框架，建立经验风险临界点与种群风险临界点之间的对应关系。
• 通过利用种群风险中退化海森矩阵的结构性质，避免强莫尔斯假设。
• 使用扰动和连续性论证，将种群风险的几何结构与经验风险联系起来。
• 通过推导经验风险临界点从种群风险继承性质的条件，将该框架应用于矩阵感知和相位恢复问题。
• 利用矩阵感知和相位恢复中已知的种群风险景观结果，推断经验风险的行为。

实验结果

研究问题

• RQ1 当对应的种群风险是退化情形（即海森矩阵具有零特征值）时，如何分析非凸经验风险的景观？
• RQ2 在退化情形下，经验风险与种群风险的临界点之间存在何种关系？
• RQ3 在分析经验风险景观时，是否可以放宽强莫尔斯假设而不损失理论严谨性？
• RQ4 如何利用种群风险景观来推断实际机器学习问题中经验风险景观的性质？
• RQ5 该框架在多大程度上适用于矩阵感知和相位恢复等现实世界问题？

主要发现

• 本文在不依赖强莫尔斯假设的前提下，建立了经验风险与种群风险临界点之间的直接对应关系。
• 该框架使得在退化非凸设置下，能够从更易分析的种群风险景观中推断经验风险景观的性质。
• 该方法成功应用于矩阵感知和相位恢复问题，展示了其实际相关性和鲁棒性。
• 通过避免强莫尔斯条件，该方法将理论分析扩展到了此前难以处理的更广泛类别的非凸问题。
• 结果表明，即使海森矩阵具有零特征值，经验风险中的临界点仍能继承种群风险的结构性质。
• 该理论为在退化情形下分析非凸优化中的收敛性和泛化性提供了可行路径，而退化是常见但研究不足的情形。