[论文解读] Solomonoff induction

Tom F. Sterkenburg|arXiv (Cornell University)|Mar 17, 2026

Computability, Logic, AI Algorithms被引用 0

一句话总结

本论文将Solomonoff归纳作为通过可计算性与贝叶斯混合定义的通用预测器进行分析，讨论其理论可靠性与最优性，并强调对角化的局限性阻止了可计算的通用预测器的存在。同时综述Solomonoff–Levin框架及其对机器学习与贝叶斯观的影响。

ABSTRACT

This chapter discusses the Solomonoff approach to universal prediction. The crucial ingredient in the approach is the notion of computability, and I present the main idea as an attempt to meet two plausible computability desiderata for a universal predictor. This attempt is unsuccessful, which is shown by a generalization of a diagonalization argument due to Putnam. I then critically discuss purported gains of the approach, in particular it providing a foundation for the methodological principle of Occam's razor, and it serving as a theoretical ideal for the development of machine learning methods.

研究动机与目标

• 在可计算性约束下为寻找通用预测器提供动机。
• 引入通过对可计算（及半可计算）度量的混合得到的通用贝叶斯预测。
• 分析通用聚合的最优性属性及局限性。
• 讨论实现完全通用预测器的对角化阻碍。
• 评估对机器学习基础与奥卡姆剃刀的影响。

提出的方法

• 形式化序列二元预测并将预测器定义为函数 p: {0,1}* -> {分布 over {0,1}}。
• 在可计算度量方面定义通用可靠性，并扩展到对一个带权重 w 的类 H 的贝叶斯混合。
• 证明贝叶斯一致性：p_w^H 对 H 中的任意 μ 在 μ-概率意义上收敛（Blackwell–Dubins）。
• 构建一个对计算可得度量的通用混合 ξ^comp_w，并对所有可计算度量显示通用可靠性。
• 引入聚合视角：一个从预测池中聚合预测的预测器，并推导对数损失框架（log loss 与悔恨）。
• 讨论对角论证（Putnam）显示没有一个可计算的预测器能对所有可计算模式既是通用的、又是可靠的。

实验结果

研究问题

• RQ1 在可计算性约束下，是否存在普遍可靠的预测器？
• RQ2 对一组可计算度量的贝叶斯混合是否能产生通用可靠性？
• RQ3 在可计算或半可计算框架内，聚合预测器是否存在某种形式的通用最优性？
• RQ4 对角化论证是否排除了完全通用可计算预测器的存在？
• RQ5 Solomonoff归纳对机器学习与贝叶斯正统有哪些影响？

主要发现

• 对一个可计算度量的可数类的贝叶斯混合对于所有可计算度量是可靠的（贝叶斯一致性）。
• 存在一个对所有可计算度量的通用混合预测器，其在可计算序列上的真实概率收敛方面具有普遍可靠性。
• 一种聚合机制在可计算预测器池中产生普遍最优的预测器，其对数悔恨相对于池中任何预测器都被一个常数界限。
• 当扩展到半可计算半度量（Solomonoff–Levin）时，存在普遍半预测器，但它们本身并非半可计算。
• 对角论证（Putnam）意味着不存在一个同时可计算且对所有可计算模式普遍可靠的预测器，凸显了一个根本性局限。
• Solomonoff–Levin半预测器并非半可计算，尽管在半可计算框架内呈现出一种通用预测的形式。