[论文解读] Near-Optimal Recovery of Linear and N-Convex Functions on Unions of Convex Sets

Anatoli Juditsky, Arkadi Nemirovski|arXiv (Cornell University)|Apr 1, 2018

Sparse and Compressive Sensing Techniques参考文献 27被引用 5

一句话总结

本文提出了一种近似最优、计算友好的估计方法，用于对属于有限个凸紧集并集的信号的线性和N-凸泛函进行估计，在一般‘良好’观测方案（如高斯、泊松、离散）下的间接噪声观测。该方法利用凸优化构建具有可证明近似极小极大风险的估计器，将先前工作从仿射泛函和高斯噪声扩展到更广泛设置，保证了可靠性和效率。

ABSTRACT

In this paper we build provably near-optimal, in the minimax sense, estimates of linear forms and, more generally, "$N$-convex functionals" (the simplest example being the maximum of several fractional-linear functions) of unknown "signal" known to belong to the union of finitely many convex compact sets from indirect noisy observations of the signal. Our main assumption is that the observation scheme in question is good in the sense of A. Goldenshluger, A. Juditsky, A. Nemirovski, Electr. J. Stat. 9(2) (2015), arXiv:1311.6765, the simplest example being the Gaussian scheme where the observation is the sum of linear image of the signal and the standard Gaussian noise. The proposed estimates, same as upper bounds on their worst-case risks, stem from solutions to explicit convex optimization problems, making the estimates "computation-friendly."

研究动机与目标

• 开发针对属于凸紧集并集的信号的线性和N-凸泛函的极小极大最优估计方法。
• 将现有近似最优恢复方法从高斯噪声扩展到一般‘良好’观测方案，包括泊松和离散方案。
• 放宽对仿射估计器的要求，以允许处理N-凸泛函，如分式线性函数的极大值。
• 通过将其表述为显式的凸优化问题，确保所提估计器的计算可处理性。
• 在最小几何假设下，建立估计器可靠性和近似最优性的理论保证。

提出的方法

• 该方法通过从信号集结构和观测方案中导出的凸优化问题构造估计器，确保计算效率。
• 采用基于二分法的估计程序（二分估计），通过重复观测自适应缩小泛函值的置信区间。
• 该程序使用控制参数L、δ和κ来平衡可靠性与精度，其中L控制二分步数，δ调节置信水平。
• 该方法依赖于[15]中定义的‘良好观测方案’概念，包括具有矩生成函数界约束的高斯、泊松和离散方案。
• 对于N-凸泛函，该方法采用一种与先前仿射估计器不同的新颖构造，借鉴二分查找原理，实现离散估计的连续类比。
• 最终估计量为最终置信区间的中点，区间宽度由观测数据和控制参数决定。

实验结果

研究问题

• RQ1 在超越高斯情形的一般良好观测方案下，是否可以实现对N-凸泛函的近似最优恢复？
• RQ2 如何使线性和N-凸泛函的估计既达到极小极大最优性又具备计算高效性？
• RQ3 观测次数与基于二分法的估计器的可靠性/精度之间有何关系？
• RQ4 与文献中现有的仿射估计器相比，所提方法在性能和鲁棒性方面表现如何？
• RQ5 在保持理论最优性的同时，该方法在多大程度上可扩展至非仿射、非线性泛函？

主要发现

• 二分估计对任意ε∈(0,1/2)具有(1−ε)-可靠性，即真实泛函值以至少1−ε的概率落在输出置信区间内。
• 二分估计所需的观测次数随1/ε、N、I和L的对数增长，即使在大规模信号集下也保持高效。
• 当存在K̄次观测的(ρ̄,ε)-可靠性估计器时，二分估计在K次观测下可实现(ρ,ε)-可靠性，且满足K/K̄ ≤ 2 + o(1)（当ε→0时）。
• 对于给定ε，二分估计所需的观测次数最多比最优估计器多一个对数因子，从而在极小极大意义下确立了近似最优性。
• 该方法适用于广泛的观测方案类别，包括高斯、泊松和离散方案，扩展了先前结果的适用范围。
• 在混合右删失下对风险率估计的实验结果表明，二分估计在不同删失水平(θ)和样本大小(K)下均表现出稳定性能，中位误差随K增加而减小。