[论文解读] Probabilistic supervised learning

Frithjof Gressmann, Franz J. Király+2 more|arXiv (Cornell University)|Jan 2, 2018

Gaussian Processes and Bayesian Inference参考文献 79被引用 8

一句话总结

本文提出了一种统一的概率监督学习框架，使黑箱模型能够预测完整的概率分布，而不仅仅是点估计，同时量化不确定性。该框架提出了新颖的理论洞见，如概率偏差-方差分解和熵形式的预测公式，并提供了实用工具，如概率提升、袋装法，以及在 skpro 工具箱中新增的 API，可通过样本外损失估计来比较不同模型（频率学派、贝叶斯或混合模型）。

ABSTRACT

Predictive modelling and supervised learning are central to modern data science. With predictions from an ever-expanding number of supervised black-box strategies - e.g., kernel methods, random forests, deep learning aka neural networks - being employed as a basis for decision making processes, it is crucial to understand the statistical uncertainty associated with these predictions. As a general means to approach the issue, we present an overarching framework for black-box prediction strategies that not only predict the target but also their own predictions' uncertainty. Moreover, the framework allows for fair assessment and comparison of disparate prediction strategies. For this, we formally consider strategies capable of predicting full distributions from feature variables, so-called probabilistic supervised learning strategies. Our work draws from prior work including Bayesian statistics, information theory, and modern supervised machine learning, and in a novel synthesis leads to (a) new theoretical insights such as a probabilistic bias-variance decomposition and an entropic formulation of prediction, as well as to (b) new algorithms and meta-algorithms, such as composite prediction strategies, probabilistic boosting and bagging, and a probabilistic predictive independence test. Our black-box formulation also leads (c) to a new modular interface view on probabilistic supervised learning and a modelling workflow API design, which we have implemented in the newly released skpro machine learning toolbox, extending the familiar modelling interface and meta-modelling functionality of sklearn. The skpro package provides interfaces for construction, composition, and tuning of probabilistic supervised learning strategies, together with orchestration features for validation and comparison of any such strategy - be it frequentist, Bayesian, or other.

研究动机与目标

• 开发一种通用的概率监督学习框架，将任何黑箱预测策略视为分布预测器。
• 通过统一的概率损失形式化，实现对不同预测策略（频率学派、贝叶斯或混合）的公平比较与评估。
• 提供模块化、基于 API 的接口，用于构建、组合和调优概率模型，扩展 sklearn 的功能。
• 解决现代机器学习流水线在决策过程中对不确定性量化的关键需求。

提出的方法

• 提出一个正式框架，其中预测策略输出以输入特征为条件的结果全概率分布。
• 引入概率损失泛函，包括对数损失和核差异损失，以评估预测性能。
• 开发新的概率偏差-方差分解和预测的熵形式化，以提供理论洞见。
• 设计元算法，如概率提升和袋装法，其操作对象为预测分布而非点估计。
• 引入概率预测独立性检验，以评估预测分布中的条件独立性。
• 在开源的 skpro 工具箱中实现该框架，提供模块化、与 sklearn 兼容的 API，用于模型编排、验证和比较。

实验结果

研究问题

• RQ1 如何正式定义并评估输出完整概率分布而非点估计的黑箱预测策略的性能？
• RQ2 当将经典概念（如偏差-方差分解）扩展到概率预测设置时，会涌现出哪些理论洞见？
• RQ3 如何在统一的概率框架内，公平比较不同预测策略（如深度学习、随机森林、贝叶斯模型）？
• RQ4 使用预测分布形状假设（如正态分布、拉普拉斯分布、均匀分布）对模型性能有何影响？
• RQ5 如何设计操作于概率预测的元算法（如提升、袋装法），以改善不确定性校准？

主要发现

• 所提出的框架可利用合适的评分规则和损失泛函，实现对任意概率预测策略的公平、样本外比较。
• 假设预测分布为拉普拉斯或正态分布，性能显著优于均匀分布或基线方法，且在真实数据集中拉普拉斯分布通常优于正态分布。
• 基于残差的复合策略（如 ResidualEstimator）在方差预测未正确校准时，始终优于完整的高斯过程回归。
• sklearn 中的完整高斯过程回归估计器（GaussianProcessRegressor）可能返回的是均值预测器后验的方差，而非真正的预测后验，导致性能不佳。
• skpro 工具箱成功扩展了 sklearn 的接口以支持概率建模，实现了概率策略的模块化构建、组合与调优，并内建了验证与比较工作流。