[论文解读] Optimal solutions to the isotonic regression problem

Alexander I. Jordan, Anja Mühlemann+1 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Statistical Methods and Models参考文献 24被引用 6

一句话总结

本文通过展示一类由识别函数定义的泛函（如期望、分位数和期望损失）的最优解存在性，将等渗回归推广至更广泛的函数类，并证明这些解在所有一致损失函数下同时最优。核心贡献在于提出了在偏序下最优等渗解的极小-极大/极大-极小表征，将池相邻违规者（PAV）算法推广至一般有序约束优化。

ABSTRACT

In general, the solution to a regression problem is the minimizer of a given loss criterion, and depends on the specified loss function. The nonparametric isotonic regression problem is special, in that optimal solutions can be found by solely specifying a functional. These solutions will then be minimizers under all loss functions simultaneously as long as the loss functions have the requested functional as the Bayes act. For the functional, the only requirement is that it can be defined via an identification function, with examples including the expectation, quantile, and expectile functionals. Generalizing classical results, we characterize the optimal solutions to the isotonic regression problem for such functionals, and extend the results from the case of totally ordered explanatory variables to partial orders. For total orders, we show that any solution resulting from the pool-adjacent-violators algorithm is optimal. It is noteworthy, that simultaneous optimality is unattainable in the unimodal regression problem, despite its close connection.

研究动机与目标

• 将经典的等渗回归框架从期望泛函推广至由识别函数定义的一般泛函。
• 建立等渗回归解对所有一致损失函数同时最优的条件，无论选择何种具体损失函数。
• 将池相邻违规者（PAV）算法及其最优性性质推广至协变量上的偏序。
• 证明在单峰回归中同步最优性不成立，凸显其与等渗回归的关键差异。
• 对在全序下取值为集合的泛函，提供最优解的完整表征。

提出的方法

• 使用识别函数定义期望、分位数和期望损失等泛函，实现对多样化回归目标的统一处理。
• 应用一致（Bregman型）损失函数的概念，其中真实泛函值最小化期望损失，并证明等渗解在所有此类损失下均为最优。
• 提出最优等渗解的极小-极大与极大-极小公式：$\hat{g}(z_\ell) = \min_{j \geq \ell} \max_{i \leq j} \mathbb{E}_{i:j} Y = \max_{i \leq \ell} \min_{j \geq i} \mathbb{E}_{i:j} Y $，推广经典PAV解。
• 通过定义协变量集的分划结构$\mathcal{Q}_z$，将框架扩展至协变量上的偏序，利用序理想和滤子刻画最优解。
• 使用Murphy图和期望基本评分比较预测性能，并通过反例验证单峰回归中缺乏同步最优性。
• 证明在单峰约束下可行解集对并集和交集不封闭，从而破坏同步最优性的必要条件。

实验结果

研究问题

• RQ1 对于一般泛函（而不仅是期望），等渗回归解是否能在所有一致损失函数下同时最优？
• RQ2 当目标泛函由识别函数而非均值定义时，最优等渗解的一般形式是什么？
• RQ3 如何将池相邻违规者（PAV）算法及其最优性性质推广至协变量上的偏序？
• RQ4 尽管单峰回归在结构上与等渗回归相似，为何其同步最优性会失败？
• RQ5 在一致损失函数下，同步最优性的解空间所需满足的充要条件是什么？

主要发现

• 若泛函$T$为区间型，则由识别函数定义的泛函$T$的最优等渗回归解，是所有一致损失函数的共同最小化器。
• 在全序下，任何由池相邻违规者（PAV）算法生成的解均为最优，且极小-极大/极大-极小公式刻画了唯一的最优解。
• 通过定义协变量集的分划结构$\mathcal{Q}_z$，该框架可推广至偏序，其中最优解由序理想和滤子决定。
• 在单峰回归中，不存在一个解能在所有一致损失函数下占优，反例（四组数据点）与Murphy图比较已证实此点。
• 单峰回归中同步最优性失败的原因在于解集对并集和交集不封闭，违反了此类最优性的必要条件。
• 本文对泛函为集合值（如分位数）的情形，提供了最优解的完整表征，表明解对应于边界$T^-$与$T^+$的凸组合。