[论文解读] Universal Supervised Learning for Individual Data

Yaniv Fogel, Meir Feder|arXiv (Cornell University)|Dec 22, 2018

Domain Adaptation and Few-Shot Learning参考文献 2被引用 7

一句话总结

本文提出预测归一化最大似然（pNML），一种适用于个体数据在对数损失下的通用监督学习框架，其在最小最大意义下可与知晓真实测试标签的“先知”模型相竞争。pNML 在鲁棒性和泛化能力方面优于经验风险最小化（ERM），并为有限训练数据下的特定测试实例提供了可学习性的逐点度量。

ABSTRACT

Universal supervised learning is considered from an information theoretic point of view following the universal prediction approach, see Merhav and Feder (1998). We consider the standard supervised "batch" learning where prediction is done on a test sample once the entire training data is observed, and the individual setting where the features and labels, both in the training and test, are specific individual quantities. The information theoretic approach naturally uses the self-information loss or log-loss. Our results provide universal learning schemes that compete with a "genie" (or reference) that knows the true test label. In particular, it is demonstrated that the main proposed scheme, termed Predictive Normalized Maximum Likelihood (pNML), is a robust learning solution that outperforms the current leading approach based on Empirical Risk Minimization (ERM). Furthermore, the pNML construction provides a pointwise indication for the learnability of the specific test challenge with the given training examples

研究动机与目标

• 开发一种适用于监督学习中个体数据的通用学习框架，且不依赖于数据生成过程的随机性假设。
• 解决传统方法（如 ERM 和 PAC 学习）在解释现代模型（如深度神经网络）泛化行为方面的局限性。
• 通过在对数损失下相对于最优“先知”参考模型的后悔最小化，提供一种鲁棒的信息论替代 ERM 的方法。
• 基于 pNML 忽略度，引入针对特定测试样本的可学习性逐点度量。
• 探索 pNML 忽略度减小的条件，尤其关注模型类结构与样本大小的关系。

提出的方法

• 提出预测归一化最大似然（pNML）作为个体设定下通用监督学习的最小最大最优解。
• 采用对数损失（自信息损失）作为评估准则，实现优雅的信息论公式化。
• 将 pNML 学习器定义为相对于知晓真实标签的“先知”模型，最小化所有可能测试标签下的最大后悔。
• 推导出一种留一法变体的后悔度量，用于在类似交叉验证的条件下评估性能。
• 将 pNML 框架应用于简单模型类，如具有分段常数概率的 1D 阈值模型。
• 通过使用均匀分布的特征和已知真实假设的模拟实验，评估后悔度量随测试输入和训练规模的变化。

实验结果

研究问题

• RQ1 如何构建一种适用于个体数据的通用学习方案，使其能与知晓真实测试标签的“先知”模型相竞争？
• RQ2 在有限训练数据下，pNML 在鲁棒性和泛化能力方面如何优于 ERM？
• RQ3 在何种模型类条件下会导致 pNML 忽略度较小，尤其是当训练规模 N 增大时？
• RQ4 pNML 能否作为特定测试实例可学习性的逐点指标？
• RQ5 pNML 忽略度较小与经验风险最小化器泛化误差之间存在何种关系？

主要发现

• pNML 方法在后悔度量上始终优于 ERM，在有限样本设置下展现出更优的鲁棒性与泛化能力。
• 后悔度在阈值参数 b 附近区域最高，因为训练数据的微小变化会显著改变最优模型；随着 N 增大，这种不确定性逐渐减小。
• 当 N 较大时，b 临界区域之外的后悔度以 O(1/N) 的速率减小，表明模型稳定性与收敛性提升。
• 当阈值 b 远离特征空间中心（如 0.5）时，由于数据支持减少，样本较少一侧的后悔度上升。
• pNML 框架提供了可学习性的逐点度量，低后悔度表明对特定测试实例的预测具有高置信度。
• pNML 的双重通用扩展在模型类本身未知的情况下表现出潜力，提示其在分层或嵌套模型选择中的适用性。