[论文解读] Non-parametric Models for Non-negative Functions

Ulysse Marteau-Ferey, Francis Bach+1 more|arXiv (Cornell University)|Jul 8, 2020

Sparse and Compressive Sensing Techniques参考文献 8被引用 12

一句话总结

本文提出了一种新颖的非参数模型，用于学习非负函数，同时保持线性模型的凸性、可微性和可积性。通过利用表示定理和凸对偶公式，该方法实现了高效的优化与通用逼近，其在密度估计、异方差回归和分位数回归任务中优于广义线性模型及先前的方法。

ABSTRACT

Linear models have shown great effectiveness and flexibility in many fields such as machine learning, signal processing and statistics. They can represent rich spaces of functions while preserving the convexity of the optimization problems where they are used, and are simple to evaluate, differentiate and integrate. However, for modeling non-negative functions, which are crucial for unsupervised learning, density estimation, or non-parametric Bayesian methods, linear models are not applicable directly. Moreover, current state-of-the-art models like generalized linear models either lead to non-convex optimization problems, or cannot be easily integrated. In this paper we provide the first model for non-negative functions which benefits from the same good properties of linear models. In particular, we prove that it admits a representer theorem and provide an efficient dual formulation for convex problems. We study its representation power, showing that the resulting space of functions is strictly richer than that of generalized linear models. Finally we extend the model and the theoretical results to functions with outputs in convex cones. The paper is complemented by an experimental evaluation of the model showing its effectiveness in terms of formulation, algorithmic derivation and practical results on the problems of density estimation, regression with heteroscedastic errors, and multiple quantile regression.

研究动机与目标

• 开发一种非参数模型，用于非负函数，同时保留线性模型的优良特性，如凸性、可微性和可积性。
• 解决广义线性模型的局限性，后者在非负函数学习中常导致非凸优化或缺乏可积性。
• 提供一种非负函数的通用逼近器，其表达能力严格强于现有的具有非负系数的广义线性模型。
• 将该框架扩展至输出位于凸锥中的函数，从而拓宽其在约束输出问题中的适用性。
• 通过实证验证该模型在密度估计、异方差回归和多分位数回归中的表现，证明其性能更优。

提出的方法

• 提出一种通过特征映射和对称正半定算子 A 定义的模型，其中 f(x) = φ(x)⊤ A φ(x)，通过算子的正半定性确保非负性。
• 推导出一个表示定理，表明最优解 A* 位于数据诱导的核矩阵张成的空间中，从而实现有限维优化。
• 提出一种仅依赖于训练点的凸对偶公式，将逐点非负性约束转化为对系数的凸约束。
• 利用非正部算子 [·]+ 来表征解，确保通用逼近能力，并相较于非负系数模型具有更强的表示能力。
• 将模型应用于带凸损失的期望风险最小化，保持凸性，并可通过标准凸求解器实现高效优化。
• 通过相应地推广算子约束，将该框架扩展至输出位于任意凸锥中的函数。

实验结果

研究问题

• RQ1 能否构建一种非参数模型，用于非负函数，同时保持线性模型的凸性、可微性和可积性？
• RQ2 所提出的模型是否具有表示定理和有限维对偶公式，以支持凸优化？
• RQ3 所提出的模型是否为通用逼近器，且其表达能力严格强于具有非负系数的广义线性模型？
• RQ4 与标准方法相比，该模型在密度估计、异方差回归和多分位数回归中的实际表现如何？
• RQ5 先前方法的理论局限性是什么，例如 Bagnell 等人（2015）的错误表征，以及所提出的模型如何克服这些局限？

主要发现

• 所提出的模型满足表示定理，并具有凸的有限维对偶公式，从而可在系数空间中自然编码逐点非负性约束，实现高效优化。
• 该模型是通用逼近器，其表达能力严格强于具有非负系数的广义线性模型，这一结论通过与 Bagnell 等人（2015）的理论对比得到验证。
• 该模型的 Rademacher 复杂度与标准核基线性模型相当，表明其具有强大的泛化潜力。
• 在密度估计任务中，该模型优于 NCM 和 GLM，尤其在高维设置下表现更优，此时 GLM 因参考测度采样不足而失效。
• 该模型成功处理了具有异方差误差的回归和多分位数回归，展现出在多种模拟设置下的稳健性能。
• 本文识别并纠正了 Bagnell 等人（2015）中的一个根本性错误，表明其解仅限于非负系数模型，因此缺乏通用性，而所提出的框架则克服了这一缺陷。