[论文解读] Piecewise Convex Function Estimation and Model Selection

Kurt S. Riedel|arXiv (Cornell University)|Mar 11, 2018

Statistical Methods and Inference参考文献 4被引用 3

一句话总结

本文提出一种两阶段方法，用于从噪声数据中估计分段凸函数，假设函数仅有少量凸性变化点。该方法使用初步估计器检测拐点，并构建置信区间以指导模型选择，通过约束拟合以匹配真实凸性结构，实现几何保真性，并达到渐近最优平滑效果。

ABSTRACT

Given noisy data, function estimation is considered when the unknown function is known apriori to consist of a small number of regions where the function is either convex or concave. When the regions are known apriori, the estimate is reduced to a finite dimensional convex optimization in the dual space. When the number of regions is unknown, the model selection problem is to determine the number of convexity change points. We use a pilot estimator based on the expected number of false inflection points.

研究动机与目标

• 从噪声数据中估计具有少量凸性变化点的分段凸或分段凹函数。
• 解决当凸性变化点的数量和位置事先未知时，确定其数量和位置的模型选择问题。
• 通过使拟合函数中凸性变化点的数量和位置与真实函数一致，保持估计的几何保真性。
• 开发一种数据驱动方法，以高概率选择出正确的凸性结构，最小化模型误设误差。
• 通过在约束回归框架下使用广义交叉验证选择平滑参数，实现渐近最优收敛速率。

提出的方法

• 基于无约束平滑的初步估计器，用于估计函数的ℓ阶和(ℓ+1)阶导数。
• 利用渐近正态性在估计的拐点周围构建置信区间，其宽度与σ²‖κ⁽ℓ⁾‖²F′(s)/|f^(ℓ+1)(x̂j)|²nh²ℓ+1成正比。
• 采用两阶段估计：首先通过初步估计检测候选变化点；其次在匹配检测到的结构的闭凸锥内执行约束回归。
• 根据重叠区间的奇偶性，在每个置信区间内对f^(ℓ)或f^(ℓ+1)施加非负或非正的约束。
• 使用惩罚函数VP[f] = (λ/p)∫|f^(m)|^p ds + ∑ψi(⟨hi,f⟩−yi) 以保证平滑性和保真性，其中p=2对应最小二乘法。
• 通过广义交叉验证（GCV）选择平滑参数，其中λn = λ_GCV 且 h_n = ι(n)h_GCV，其中ι(n) = log²(n)n^(1/(2ℓ+3)−1/(2m+1))。

实验结果

研究问题

• RQ1 当凸性变化点的数量和位置未知时，如何从噪声数据中估计具有少量凸性变化点的函数？
• RQ2 如何最优地选择凸性变化点的数量和位置，以在估计中保持几何保真性？
• RQ3 如何构建估计拐点周围的置信区间，以实现统计上有效的模型选择引导？
• RQ4 在何种条件下，约束估计器能实现渐近最优收敛速率？
• RQ5 如何避免在真实拐点附近出现过度平滑，同时仍能消除虚假拐点？

主要发现

• 基于置信区间的两阶段估计器与模型选择方法，正确识别真实凸性结构的概率趋于1，即P(正确模型) → 1 当 n → ∞。
• 在适当的平滑参数缩放下，估计器的渐近均方误差满足E‖f̂−f‖²_j ∼ α_jλ^(m−j)/m‖f‖_m² + β_jσ²/(nλ^(2k+1)/(2m))。
• 该方法通过使用渐近最优平滑参数，避免了过度平滑，与早期方法不同，后者是事后再最小化拐点数量。
• 收敛性在紧子区间[δ,1−δ]上一致，解属于C^{2m−ℓ−2}，且在|f^(ℓ)| > 0的区域满足Euler-Lagrange方程(2.4)。
• 在条件liminf λ_n^(1/2m)n^(1/(2ℓ+3)) > 0 且 limsup < ∞ 下，误差界成立，其中ℓ < 2m−5/2。
• 利用置信区间指导约束选择，可有效控制虚假拐点数量，其期望数量随n增加而趋于零。