[论文解读] On Estimation of Isotonic Piecewise Constant Signals

Chao Gao, Fang Han+1 more|arXiv (Cornell University)|May 18, 2017

Statistical Methods and Inference参考文献 35被引用 10

一句话总结

本文確立了具有至多 $k$ 個步驟的等向分段常數信號估計的精確 minimax 速率，顯示其規模為 $\sigma^2 k \log\log(16n/k)$，並具有對 $n/k$ 的疊代對數依賴性。作者提出一種基於簡化等向回歸的懲罰最小二乘估計器，可自適應地達到此最佳速率，並透過 PAVA 提供一種計算高效的演算法。

ABSTRACT

Consider a sequence of real data points $X_1,\ldots, X_n$ with underlying means $θ^*_1,\dots,θ^*_n$. This paper starts from studying the setting that $θ^*_i$ is both piecewise constant and monotone as a function of the index $i$. For this, we establish the exact minimax rate of estimating such monotone functions, and thus give a non-trivial answer to an open problem in the shape-constrained analysis literature. The minimax rate involves an interesting iterated logarithmic dependence on the dimension, a phenomenon that is revealed through characterizing the interplay between the isotonic shape constraint and model selection complexity. We then develop a penalized least-squares procedure for estimating the vector $θ^*=(θ^*_1,\dots,θ^*_n)^T$. This estimator is shown to achieve the derived minimax rate adaptively. For the proposed estimator, we further allow the model to be misspecified and derive oracle inequalities with the optimal rates, and show there exists a computationally efficient algorithm to compute the exact solution.

研究动机与目标

• 解決形狀約束統計中尚未解決的問題：確立具有至多 $k$ 個步驟的等向分段常數信號估計的精確 minimax 速率。
• 彙整文獻中先前未能匹配的上界與下界之間的差距。
• 發展一種自適應估計器，可在未知 $k$ 的情況下達到最佳 minimax 速率。
• 透過推導具有最佳速率的 oracle 不等式，將理論推廣至模型錯誤指定的情形。
• 提供一種計算高效的演算法，利用 pool-adjacent-violators algorithm (PAVA) 計算精確解。

提出的方法

• 將參數空間 $\Theta_k^\uparrow$ 正式定義為具有至多 $k$ 個不同常數區段的非遞減向量集合。
• 採用非平凡的序列分割策略，應用鞅最大不等式（Levy 與 Doob）以推導出緊緻的 minimax 界。
• 提出一種懲罰最小二乘估計器，透過執行簡化等向回歸以實現對未知 $k$ 的自適應性。
• 在模型錯誤指定的情境下推導 oracle 不等式，顯示該估計器能維持最佳速率。
• 利用簡化等向回歸的結構特性和 PAVA 演算法的性質，確保計算效率。
• 運用包數論證與 Kullback-Leibler 直徑，透過資訊理論工具建立 minimax 下界。

实验结果

研究问题

• RQ1 具有至多 $k$ 個步驟的等向分段常數信號估計的精確 minimax 速率為何？
• RQ2 文獻中現有的上界與下界為何未能匹配？其中哪一個是緊緻的？
• RQ3 懲罰最小二乘估計器能否在不知 $k$ 的情況下自適應地達到最佳 minimax 速率？
• RQ4 在模型錯誤指定下，minimax 速率如何表現？能否建立具有最佳速率的 oracle 不等式？
• RQ5 是否存在一種計算高效的演算法，可用來計算簡化等向回歸估計器的精確解？

主要发现

• 在平方誤差損失下，估計 $\theta^* \in \Theta_k^\uparrow$ 的精確 minimax 速率為 $\sigma^2 k \log\log(16n/k)$（$k \geq 2$），解決了形狀約束統計中的一個開放問題。
• 對 $n/k$ 的疊代對數依賴性是 minimax 速率中一個新穎且出人意料的特徵，源於等向性與模型複雜度之間的互動。
• 一般等向回歸僅能達到次最佳速率 $\sigma^2 k \log(en/k)$，而簡化等向回歸則能達到最佳速率。
• 所提出的懲罰最小二乘估計器即使在 $k$ 未知的情況下，也能自適應地達到 minimax 速率。
• 在模型錯誤指定下，建立了具有最佳速率的 oracle 不等式，顯示估計器具有強健性。
• 開發了一種基於 PAVA 的計算高效演算法，可用來計算簡化等向回歸估計器的精確解。