[论文解读] On some information-theoretic aspects of non-linear statistical inverse problems

Richard Nickl, Gabriel P. Paternain|arXiv (Cornell University)|Jul 20, 2021

Statistical Methods and Inference被引用 4

一句话总结

本文研究由椭圆PDE控制的非线性统计反问题中的信息论极限，表明对于电导率参数的平滑线性泛函，Fisher信息可能消失。利用van der Vaart的半参数理论，证明了由于伴随算子范围条件的失效，即使在Laplacian附近局部范围内，Bernstein-von Mises近似也在此设定下不成立。

ABSTRACT

Results by van der Vaart (1991) from semi-parametric statistics about the existence of a non-zero Fisher information are reviewed in an infinite-dimensional non-linear Gaussian regression setting. Information-theoretically optimal inference on aspects of the unknown parameter is possible if and only if the adjoint of the linearisation of the regression map satisfies a certain range condition. It is shown that this range condition may fail in a commonly studied elliptic inverse problem with a divergence form equation, and that a large class of smooth linear functionals of the conductivity parameter cannot be estimated efficiently in this case. In particular, Gaussian `Bernstein von Mises'-type approximations for Bayesian posterior distributions do not hold in this setting.

研究动机与目标

• 确定在无限维非线性反问题中，信息论最优推断可能成立的条件。
• 研究Bernstein-von Mises定理在基于PDE的非线性反问题中的有效性，特别是针对高斯后验近似。
• 分析线性化前向映射的伴随算子在决定非零Fisher信息存在性中的作用。
• 识别在具有散度形式算子的椭圆反问题中，半参数效率所要求的范围条件何时失效。
• 证明对于一类广泛研究的电导率反问题中，大量平滑泛函的高效估计和后验高斯近似均不可行。

提出的方法

• 将van der Vaart关于Fisher信息存在性的半参数理论适配至无限维非线性回归模型。
• 在具有PDE约束的高斯回归设定下，分析前向映射 $ \tilde{G}_\theta $ 的线性化 $ D\tilde{G}_\theta $。
• 应用伴随算子 $ D\tilde{G}_\theta^* $ 推导信息算子 $ D\tilde{G}_\theta^* D\tilde{G}_\theta $，该算子是Fisher信息结构的核心。
• 建立范围条件 $ \text{Ran}(D\tilde{G}_\theta^*) \text{ 在 } \theta\text{-空间中稠密} $ 是非零Fisher信息存在的必要条件。
• 利用紧算子的谱理论刻画 $ (D\tilde{G}_\theta^* D\tilde{G}_\theta)^{1/2} $ 的范围，将其与逆Fisher信息的存在性联系起来。
• 通过Hilbert空间论证并借助正交特征基的逼近，证明当范围条件不成立时 $ i_{\theta,H,\theta} = 0 $。

实验结果

研究问题

• RQ1 在非线性PDE反问题中，对于未知参数的平滑线性泛函，非零Fisher信息存在的条件是什么？
• RQ2 在具有散度形式PDE的非线性椭圆反问题中，Bernstein-von Mises定理是否可能对后验分布成立？
• RQ3 在线性化前向映射的伴随算子的范围条件是否足以且必要于本设定下的半参数效率？
• RQ4 在电导率问题中，即使在标准Laplacian的光滑邻域内，该范围条件的失效是否仍会发生？
• RQ5 是否存在特定类别的平滑泛函，使得在此类反问题设定下高效估计不可行？

主要发现

• 在具有散度形式PDE的椭圆反问题中，线性化前向映射的伴随算子不满足所需的范围条件。
• 因此，电导率参数的大量平滑线性泛函的Fisher信息消失，意味着不存在信息论效率。
• 根据定理6和7，对于一大类平滑测试函数 $ \theta $，逆Fisher信息 $ \rho_\theta^2(\theta) $ 不存在。
• 在此设定下，后验分布的Bernstein-von Mises型高斯近似不成立，即使在Laplacian附近局部范围内亦然。
• 该失效源于信息算子 $ D\tilde{G}_\theta^* D\tilde{G}_\theta $ 的谱性质，其为紧算子且在参数空间中范围不稠密。
• 尽管存在一致的非参数估计器，该结果仍成立，凸显了此类PDE反问题中一致性与半参数效率之间存在根本性差距。