[论文解读] Optimal Learning from the Doob-Dynkin lemma

Gunnar Taraldsen|arXiv (Cornell University)|Jan 3, 2018

Statistical Mechanics and Entropy参考文献 14被引用 15

一句话总结

本文在拓扑和可测设置下建立了 Doob-Dynkin 引理的广义版本，证明了在满足 $T_0$ 或 $T_1$ 分离公理及可测性条件时，存在唯一可测函数 $ \phi$ 使得 $X = \phi(Y)$。主要贡献在于将该引理与最优统计学习联系起来，表明即使贝叶斯后验风险为无穷大，通过 $ \phi(y) = \mathbb{E}^y[\psi(\Theta)]$ 最小化后验风险仍可获得最优学习规则，尤其适用于不当先验或无穷维数据模型。

ABSTRACT

The Doob-Dynkin Lemma gives conditions on two functions $X$ and $Y$ that ensure existence of a function $ϕ$ so that $X = ϕ \circ Y$. This communication proves different versions of the Doob-Dynkin Lemma, and shows how it is related to optimal statistical learning algorithms. Keywords and phrases: Improper prior, Descriptive set theory, Conditional Monte Carlo, Fiducial, Machine learning, Complex data.

研究动机与目标

• 将 Doob-Dynkin 引理推广至满足最小分离公理（$T_0$ 或 $T_1$）的拓扑空间与可测空间，确保存在唯一满足 $X = \phi(Y)$ 的函数 $\phi$。
• 建立 Doob-Dynkin 引理与最优统计学习之间的联系，尤其在条件期望与决策理论背景下。
• 证明即使整体贝叶斯风险为无穷大，最小化贝叶斯后验风险 $r^y = \mathbb{E}(\|\psi(\Theta) - \phi(y)\|^2 \mid Y = y)$ 仍可获得最优学习规则。
• 证明最优决策规则 $\phi(y) = \mathbb{E}^y[\psi(\Theta)]$ 在具有不当先验或无穷维数据的模型中（如 Kalman-Bucy 滤波器）是良定义且最优的。

提出的方法

• 证明在连续函数之间定义于拓扑空间上的 Doob-Dynkin 引理的拓扑版本，假设 $X(\Omega)$ 是 $T_0$ 空间，且 $X$ 关于 $Y$ 的初始拓扑连续。
• 为可测函数建立引理的可测版本，要求 $X(\Omega)$ 为 $T_1$ 空间，且 $X$ 关于 $Y$ 的初始 $\sigma$-代数可测。
• 将引理扩展至 $\sigma$-有限测度空间，允许使用不当先验和 Renyi 空间，并为 $\Gamma: \Omega \to [0,\infty]$ 推导出引理的条件期望形式。
• 利用所得的 $\phi$ 通过后验风险最小化定义最优学习规则，其中 $\phi(y) = \mathbb{E}^y[\psi(\Theta)]$ 是最小化 $r^y = \mathbb{E}(\|\psi(\Theta) - \phi(y)\|^2 \mid Y = y)$ 的解。
• 将该框架应用于 Kalman-Bucy 滤波器，证明 $\Gamma_t$ 的最优估计为 $\phi(Y) = \mathbb{E}(\Gamma_t \mid Y)$，其中 $Y$ 是时间 $t$ 之前的观测路径。
• 证明后验风险最小化比完整贝叶斯风险更具普适性，因为它即使在整体贝叶斯风险为无穷大时，仍可产生有限且最优的规则。

实验结果

研究问题

• RQ1 在何种拓扑与可测条件下，存在函数 $\phi$ 使得 $X = \phi(Y)$，给定 $X$ 与 $Y$ 均为可测映射？
• RQ2 Doob-Dynkin 引理如何与不当先验存在时的最优统计学习及决策规则相关联？
• RQ3 当整体贝叶斯风险为无穷大时，是否仍可通过最小化后验风险 $r^y = \mathbb{E}(\|\psi(\Theta) - \phi(y)\|^2 \mid Y = y)$ 获得最优学习规则？
• RQ4 在如 Kalman-Bucy 滤波器等无穷维模型中，如何利用 Doob-Dynkin 引理推导出最优估计量？
• RQ5 最优贝叶斯后验规则与最优频派推断之间存在何种关系，尤其当不存在无偏或不变估计量时？

主要发现

• 证明了拓扑 Doob-Dynkin 引理：若 $X(\Omega)$ 是 $T_0$ 空间，且 $X$ 关于 $Y$ 的初始拓扑连续，则存在唯一连续函数 $\phi: Y(\Omega) \to \Omega_X$ 使得 $X = \phi(Y)$。
• 建立了可测 Doob-Dynkin 引理：若 $X(\Omega)$ 是 $T_1$ 空间，且 $X$ 关于 $Y$ 的初始 $\sigma$-代数可测，则存在唯一可测函数 $\phi: Y(\Omega) \to \Omega_X$ 使得 $X = \phi(Y)$。
• 最优学习规则由 $\phi(y) = \mathbb{E}^y[\psi(\Theta)]$ 给出，该规则对每个 $y$ 最小化后验风险 $r^y = \mathbb{E}(\|\psi(\Theta) - \phi(y)\|^2 \mid Y = y)$。
• 在具有平坦先验的正态位置模型中，$\phi(y) = y$ 是最优的，后验风险为 $r^y = 1$，尽管由于不当先验的存在，整体贝叶斯风险为无穷大。
• 该框架适用于无穷维模型，如 Kalman-Bucy 滤波器，其中 $\Gamma_t = \mathbb{E}(\Gamma_t \mid Y)$ 是基于观测路径 $Y_s$（$0 \leq s \leq t$）的最优估计。
• 最小化后验风险比最小化完整贝叶斯风险更具普适性，因为它即使在贝叶斯风险为无穷大时，仍可产生有限且最优的规则，为最优学习提供了稳健基础。