[论文解读] The troublesome kernel -- On hallucinations, no free lunches and the accuracy-stability trade-off in inverse problems

Nina Maria Gottschling, Vegard Antun+2 more|arXiv (Cornell University)|Jan 5, 2020

Medical Imaging Techniques and Applications被引用 12

一句话总结

本文为成像中基于人工智能的反问题求解器的幻觉、不稳定性及不可预测性能建立了理论基础。证明了这些失败源于前向算子的核空间以及固有的准确率-稳定性权衡，表明不存在普遍最优的重建映射，提供了基于‘无免费午餐’定理的解释，说明在特定条件下这些问题在数学上是不可避免的。

ABSTRACT

Methods inspired by Artificial Intelligence (AI) are starting to fundamentally change computational science and engineering through breakthrough performances on challenging problems. However, reliability and trustworthiness of such techniques is a major concern. In inverse problems in imaging, the focus of this paper, there is increasing empirical evidence that methods may suffer from hallucinations, i.e., false, but realistic-looking artifacts; instability, i.e., sensitivity to perturbations in the data; and unpredictable generalization, i.e., excellent performance on some images, but significant deterioration on others. This paper provides a theoretical foundation for these phenomena. We give mathematical explanations for how and when such effects arise in arbitrary reconstruction methods, with several of our results taking the form of `no free lunch' theorems. Specifically, we show that (i) methods that overperform on a single image can wrongly transfer details from one image to another, creating a hallucination, (ii) methods that overperform on two or more images can hallucinate or be unstable, (iii) optimizing the accuracy-stability trade-off is generally difficult, (iv) hallucinations and instabilities, if they occur, are not rare events, and may be encouraged by standard training, (v) it may be impossible to construct optimal reconstruction maps for certain problems. Our results trace these effects to the kernel of the forward operator whenever it is nontrivial, but also apply to the case when the forward operator is ill-conditioned. Based on these insights, our work aims to spur research into new ways to develop robust and reliable AI-based methods for inverse problems in imaging.

研究动机与目标

• 解释反问题求解器中幻觉、不稳定性及不可预测性能的数学根源，尤其是成像领域中的基于人工智能的方法。
• 建立在特定输入下高准确率但仍发生失败的理论条件。
• 证明前向算子的核空间与病态性是这些失败的核心原因，而不仅仅是深度学习的产物。
• 表明同时优化准确率与稳定性在根本上受到限制，导致不可避免的权衡。
• 提供一个适用于深度学习之外的理论框架，揭示反问题重建方法中固有的局限性。

提出的方法

• 基于前向算子的核空间与零空间性质，构建分析反问题中重建映射的数学框架。
• 应用鲁棒零空间性质（rNSP）刻画准确且稳定恢复的条件。
• 利用源自rNSP的误差界，以稀疏性与测量噪声为参数，量化重建的准确率与稳定性。
• 证明‘无免费午餐’定理，表明在特定图像上表现过优，会导致泛化时出现幻觉或不稳定性。
• 分析测量算子A与重建映射Ψ的联合设计，表明稳定且准确的恢复要求与模型类M₁精确对齐。
• 对比基于模型的方法（如ℓ¹-最小化）与学习得到的映射，表明前者因具有结构化的误差表现，而较少产生幻觉。

实验结果

研究问题

• RQ1 在何种条件下，反问题中的重建方法会产生在真实图像中不存在、但外观逼真的虚假细节？
• RQ2 为何某些基于人工智能的方法在特定图像上表现高准确率，却在邻近图像上出现灾难性失败？这一现象是否可避免？
• RQ3 不稳定性与幻觉在多大程度上由前向算子核结构引起，而非学习算法本身？
• RQ4 是否存在反问题的最优重建映射？若否，原因是什么？
• RQ5 准确率-稳定性权衡在数学上如何产生？能否对其进行定量界定？

主要发现

• 当重建方法在单张图像上表现过优时，会产生虚假但逼真的细节，这些细节会从一张图像‘转移’到另一张图像，形成幻觉。
• 不稳定性与幻觉并非罕见现象；当方法在两张或以上图像上表现过优，尤其是前向算子具有非平凡核空间时，这些现象在数学上是不可避免的。
• 准确率-稳定性权衡在根本上难以优化，‘无免费午餐’定理已证明：不存在一种方法能在所有图像上均表现最优。
• 标准训练过程可能无意中助长幻觉与不稳定性，尤其当前向算子病态时更为明显。
• 基于模型的方法（如满足rNSP的ℓ¹-最小化）较少产生幻觉，因为其误差表现为非物理的类似小波的伪影，而非结构化的虚假细节。
• 基于压缩感知的映射仅在前向算子A满足rNSP且信号属于模型类M₁时才稳定且准确；否则，可能引发不稳定或幻觉。