[论文解读] On Tractable Computation of Expected Predictions

Pasha Khosravi, YooJung Choi+3 more|arXiv (Cornell University)|Oct 5, 2019

Neural Networks and Applications被引用 25

一句话总结

该论文提出了一种可 tractable 的框架，通过使用共享 vtree 结构的概率电路，针对生成模型计算判别模型（回归器）的精确期望和任意阶矩。通过利用概率电路中的结构约束，该方法实现了多项式时间内的矩计算，显著提升了缺失数据插补的鲁棒性，并通过高效的近似方法，实现了在回归与分类场景下对公平性和可解释性的原则化模型分析。

ABSTRACT

Computing expected predictions of discriminative models is a fundamental task in machine learning that appears in many interesting applications such as fairness, handling missing values, and data analysis. Unfortunately, computing expectations of a discriminative model with respect to a probability distribution defined by an arbitrary generative model has been proven to be hard in general. In fact, the task is intractable even for simple models such as logistic regression and a naive Bayes distribution. In this paper, we identify a pair of generative and discriminative models that enables tractable computation of expectations, as well as moments of any order, of the latter with respect to the former in case of regression. Specifically, we consider expressive probabilistic circuits with certain structural constraints that support tractable probabilistic inference. Moreover, we exploit the tractable computation of high-order moments to derive an algorithm to approximate the expectations for classification scenarios in which exact computations are intractable. Our framework to compute expected predictions allows for handling of missing data during prediction time in a principled and accurate way and enables reasoning about the behavior of discriminative models. We empirically show our algorithm to consistently outperform standard imputation techniques on a variety of datasets. Finally, we illustrate how our framework can be used for exploratory data analysis.

研究动机与目标

• 解决在任意生成分布下计算判别模型期望预测的计算不可行性问题。
• 识别出一对具有共享 vtree 结构的概率电路，使得回归任务中能够实现多项式时间内的精确期望与高阶矩计算。
• 通过开发一种高效的近似方法，将该框架扩展至分类任务，以处理精确计算不可行时的矩计算。
• 实现对模型在不确定性条件下的行为进行原则化推理，特别是在缺失数据和子群体分析场景中。
• 在真实世界数据集中，证明该框架相较于标准插补技术的优越性。

提出的方法

• 利用具有结构约束（如可分解性、d-分离性）的概率电路，实现可 tractable 的推理。
• 在生成模型与判别模型的概率电路之间共享 vtree 结构，以对齐两者的计算过程。
• 推导出一种多项式时间算法，用于计算判别回归器相对于生成分布的 k 阶矩。
• 将矩计算应用于分类任务中的期望预测近似，通过基于矩的估计方法实现。
• 在两个电路中对应同一 vtree 节点的配对节点上操作，实现二次时间复杂度。
• 利用矩的可 tractable 计算能力，实现部分观测（如缺失特征）下的条件期望查询。

实验结果

研究问题

• RQ1 在何种条件下，能够以多项式时间计算判别模型的精确期望与矩？
• RQ2 一对表达能力强的概率电路是否能够实现回归任务中高阶矩的可 tractable 计算？
• RQ3 当精确计算不可行时，是否能够对分类场景中的期望预测进行近似？
• RQ4 所提出的框架在处理缺失数据方面与标准插补方法相比表现如何？
• RQ5 该框架是否能够支持预测建模中的子群体分析与公平性评估？

主要发现

• 该框架利用具有共享 vtree 结构的概率电路，实现了回归任务中任意阶矩与期望的多项式时间精确计算。
• 在分类任务中，由于非可分解、非线性函数的存在，精确计算仍不可行，但通过矩计算开发出一种高效的近似方法。
• 该方法在多个数据集上持续优于标准插补技术，尤其在高缺失数据率（如 30% 缺失）时表现更优，此时基线方法因计算成本过高而失效。
• 该框架能够在复杂条件（如多个特征）下实现对期望预测的准确估计，即使数据稀疏或不可用，例如在对特定地区女性吸烟者等子群体的查询中表现良好。
• 该方法支持鲁棒的公平性与可解释性分析，例如量化不同子群体（如吸烟者与非吸烟者、不同地区）在预期保险成本上的差异，揭示了在均值与方差上的显著差异。
• 即使子群体中仅有 4–3 个匹配样本，该方法也能实现高精度的期望估计，而直接的经验估计在此类情况下完全失效。