[论文解读] Theoretical Foundations of Latent Posterior Factors: Formal Guarantees for Multi-Evidence Reasoning

Aliyu Agboola Alege|arXiv (Cornell University)|Mar 13, 2026

Explainable Artificial Intelligence (XAI)被引用 0

一句话总结

本研究为多证据预测中的Latent Posterior Factors (LPF) 提供了七项正式保证，结合 SPN 与学习聚合器，并在跨领域的大量经验验证中得到支持。

ABSTRACT

We present a complete theoretical characterization of Latent Posterior Factors (LPF), a principled framework for aggregating multiple heterogeneous evidence items in probabilistic prediction tasks. Multi-evidence reasoning arises pervasively in high-stakes domains including healthcare diagnosis, financial risk assessment, legal case analysis, and regulatory compliance, yet existing approaches either lack formal guarantees or fail to handle multi-evidence scenarios architecturally. LPF encodes each evidence item into a Gaussian latent posterior via a variational autoencoder, converting posteriors to soft factors through Monte Carlo marginalization, and aggregating factors via exact Sum-Product Network inference (LPF-SPN) or a learned neural aggregator (LPF-Learned). We prove seven formal guarantees spanning the key desiderata for trustworthy AI: Calibration Preservation (ECE <= epsilon + C/sqrt(K_eff)); Monte Carlo Error decaying as O(1/sqrt(M)); a non-vacuous PAC-Bayes bound with train-test gap of 0.0085 at N=4200; operation within 1.12x of the information-theoretic lower bound; graceful degradation as O(epsilon*delta*sqrt(K)) under corruption, maintaining 88% performance with half of evidence adversarially replaced; O(1/sqrt(K)) calibration decay with R^2=0.849; and exact epistemic-aleatoric uncertainty decomposition with error below 0.002%. All theorems are empirically validated on controlled datasets spanning up to 4,200 training examples. Our theoretical framework establishes LPF as a foundation for trustworthy multi-evidence AI in safety-critical applications.

研究动机与目标

• 在需要将若干嘈杂来源聚合以预测标签的场景中，驱动多证据预测的研究动机。
• 引入 LPF，通过 VAE 将每个证据项编码为高斯潜在后验。
• 提供基于精确 SPN 的聚合方法与学习聚合方法，并具备正式保证。
• 建立数据高效的校准、鲁棒性与不确定性分解的保证。
• 在八个不同领域进行经验验证，结果在高准确率与低校准误差方面支持理论结论。

提出的方法

• 将每个证据项编码为高斯后验，方法使用变分自编码器（VAE）。
• 通过对潜在变量进行蒙特卡洛边缘化，将后验转化为软因子。
• 使用精确 SPN 推理（LPF-SPN）或学习神经聚合器（LPF-Learned）来聚合因子。
• 证明涵盖校准、蒙特卡洛误差、泛化、信息论最优性、鲁棒性、样本复杂度和不确定性分解的七项正式保证。
• 在八个领域进行受控实验，训练样本最多达 4,200，验证保证并报告准确率与校准指标。

实验结果

研究问题

• RQ1 如何将多种异构证据项融合成带正式保证的校准预测分布？
• RQ2 LPF-SPN 与 LPF-Learned 在多证据场景中是否实现了可靠的校准、鲁棒性与不确定性分解？
• RQ3 当证据数量变化时，LPF 聚合器的数据效率与泛化能力如何？

主要发现

• LPF 在八个领域的平均准确率达到 99.3%，期望校准误差（ECE）为 1.5%。
• LPF-SPN 在校准方面保持稳定，ECE 上界为 epsilon + 与 C/sqrt(K_eff) 成比例的项。
• 蒙特卡洛因子近似误差下降速率为 O(1/sqrt(M))。
• 学习聚合器在训练/测试间隙为 0.0085（N=4200）时，获得非空洞的 PAC-Bayes 泛化界。
• LPF 的校准误差接近信息理论下界的 1.12 倍，且在证据污染下表现鲁棒，且呈现温和退化。
• 不确定性被精确分解为认知不确定性与本体不确定性（分解误差 < 0.002%）。