[论文解读] On Approximating Total Variation Distance

Arnab Bhattacharyya, Sutanu Gayen+4 more|arXiv (Cornell University)|Jun 14, 2022

Machine Learning and Algorithms被引用 6

一句话总结

本文证明了在 {0,1}ⁿ 上计算两个乘积分布之间的总变差（TV）距离是 #P-完全的，表明其精确计算具有固有的难解性。然而，对于其中一个分布为均匀分布或具有常数个不同边际的特殊情况，本文提出了一种全多项式时间确定性近似方案（FPTAS），在这些关键情形下实现了高效的近似计算，尽管在一般情况下存在计算困难。

ABSTRACT

Total variation distance (TV distance) is a fundamental notion of distance between probability distributions. In this work, we introduce and study the problem of computing the TV distance of two product distributions over the domain $\{0,1\}^n$. In particular, we establish the following results. 1. The problem of exactly computing the TV distance of two product distributions is $\#\mathsf{P}$-complete. This is in stark contrast with other distance measures such as KL, Chi-square, and Hellinger which tensorize over the marginals leading to efficient algorithms. 2. There is a fully polynomial-time deterministic approximation scheme (FPTAS) for computing the TV distance of two product distributions $P$ and $Q$ where $Q$ is the uniform distribution. This result is extended to the case where $Q$ has a constant number of distinct marginals. In contrast, we show that when $P$ and $Q$ are Bayes net distributions, the relative approximation of their TV distance is $\mathsf{NP}$-hard.

研究动机与目标

• 理解在 {0,1}ⁿ 上计算两个高维乘积分布之间总变差（TV）距离的计算复杂性。
• 确定当分布通过边际以紧凑形式表示时，TV 距离是否存在高效的近似算法。
• 识别出 TV 距离可被高效近似的乘积分布的可 tractable 子类，特别是当其中一个分布为均匀分布或具有较少不同边际时。
• 将 TV 距离的复杂性与 KL、卡方和 Hellinger 等可张量化并允许高效计算的其他分歧度量进行对比。
• 探索在贝叶斯网络和结构化概率模型背景下，可 tractable 与不可 tractable 情况之间的边界。

提出的方法

• 通过从困难计数问题（包括 #SAT）的归约，证明了两个乘积分布之间精确 TV 距离计算的 #P-完全性。
• 为当其中一个分布为均匀分布时的 TV 距离开发了全多项式时间确定性近似方案（FPTAS），利用有限精度算术和对指数级数量子集的区间近似。
• 通过基于边际类型对定义域进行划分，并求解多个 #0-1 背包实例，将 FPTAS 扩展到第二个分布具有常数个不同一维边际的情形。
• 使用 TV 距离的归一化表示，将其限制在乘法区间 [1, V) 内，其中 V ≤ 2^{poly(n)}，从而实现对几何级数增长区间的对数搜索。
• 采用对子集 S ⊆ [n] 的递归计数策略来估计正差值之和 P(x) - Q(x)，使用动态规划和 #0-1 背包实例的近似方法。
• 当 p_i < 1/2 时，通过切换到 (1 - p_i) 进行变换，以保持数值稳定性并确保多项式时间近似，虽使参数数量加倍，但对常数 k 仍保持效率。

实验结果

研究问题

• RQ1 两个乘积分布之间 TV 距离的精确计算是否为 #P-完全？
• RQ2 当其中一个分布为均匀分布时，能否设计出 TV 距离的全多项式时间确定性近似方案（FPTAS）？
• RQ3 FPTAS 的存在性是否可扩展至第二个分布仅有常数个不同边际的情形？
• RQ4 对于贝叶斯网络等更一般模型，TV 距离的相对近似复杂度如何？
• RQ5 TV 距离的计算复杂性与 KL、卡方和 Hellinger 等可张量化于边际的其他分歧度量相比如何？

主要发现

• 即使第二个分布最多只有三个不同的一维边际，两个乘积分布之间 TV 距离的精确计算也是 #P-完全的。
• 存在一种 FPTAS，可用于计算乘积分布 P 与 {0,1}ⁿ 上的均匀分布 Q 之间的 TV 距离，其近似误差为 (1±ε)，运行时间在 n 和 1/ε 上为多项式时间。
• 当 Q 具有常数个不同边际时，该 FPTAS 可扩展，通过划分和对 #0-1 背包实例的近似计数，保持多项式时间复杂度。
• 当 P 和 Q 为贝叶斯网络分布时，其 TV 距离的相对近似是 NP-难的，与可 tractable 的乘积情形形成鲜明对比。
• TV 距离可表示为对所有子集 S ⊆ [n] 的 max(0, P(S) - Q(S)) 之和，该和通过划分定义域并利用有限精度算术估计各部分贡献来近似。
• 对于满足 p_i < 1/2 的分布，方法通过使用 (1 - p_i) 重新参数化以保持近似精度，虽使参数数量加倍，但对常数 k 仍保持多项式时间复杂度。