[论文解读] On the variational distance of independently repeated experiments

Renato Renner|ArXiv.org|Sep 5, 2005

Optimal Experimental Design Methods参考文献 4被引用 6

一句话总结

本文建立了 n 重乘积分布 Pⁿ 与 Qⁿ 之间变分距离的紧上界，表明当 P 和 Q 在最小概率为 ṕ > 0 的结果上存在显著差异时，该距离的增长速度至多为 √n。关键结果为 δ(Pⁿ, Qⁿ) ≤ √(n/(2ṕ)) δ(P, Q)，证明在此类条件下，距离的增长速度不会快于 n 的平方根。

ABSTRACT

Let P and Q be two probability distributions which differ only for values with non-zero probability. We show that the variational distance between the n-fold product distributions P^n and Q^n cannot grow faster than the square root of n.

研究动机与目标

• 分析两个概率分布 P 和 Q 的 n 重独立重复实验中变分距离 δ(Pⁿ, Qⁿ) 的渐近行为。
• 识别 δ(Pⁿ, Qⁿ) 以亚线性速度随 n 增长而非如一般情况呈线性增长的条件。
• 在 P 和 Q 仅在具有共同下限概率的结果上不同时，推导 δ(Pⁿ, Qⁿ) 的紧上界。
• 证明在该条件下，δ(Pⁿ, Qⁿ) 的增长速率的最优值为 n 的平方根，与现有下界形成互补。

提出的方法

• 通过构造一个在 P 和 Q 之间插值的连续分布族 Pₜ（以 t 为参数），采用路径积分方法。
• 应用变分距离 δ(Pₜⁿ, Pₜ₀ⁿ) 对 t 的右导数，以限制其变化速率。
• 使用斯特林公式来界定变分距离表达式中的二项式系数。
• 利用二项分布的性质及结果序列的相对似然性，推导 δ(Pₜⁿ, Pₜ₀ⁿ) 导数的上界。
• 通过一系列中间分布应用三角不等式，将两点差值的界推广至一般分布。
• 使用引理 A.2 将总变差距离 δ(Pⁿ, Qⁿ) 表示为沿插值路径导数的积分。

实验结果

研究问题

• RQ1 在何种条件下，变分距离 δ(Pⁿ, Qⁿ) 的增长速度慢于 n 的线性增长？
• RQ2 当 P 和 Q 仅在最小概率 ṕ > 0 的结果上不同时，δ(Pⁿ, Qⁿ) 的最紧可能上界是什么？
• RQ3 在概率相对差异较小的情况下，δ(Pⁿ, Qⁿ) 的增长速率与线性界 nδ(P, Q) 相比如何？
• RQ4 在最小概率有界的情况下，n 的平方根增长速率是否对 δ(Pⁿ, Qⁿ) 既必要又充分？
• RQ5 该界如何依赖于 P 和 Q 中差异结果的最小概率 ṕ？

主要发现

• 变分距离 δ(Pⁿ, Qⁿ) 的上界为 √(n/(2ṕ)) δ(P, Q)，其中 ṕ = inf_{z∈𝒟} min(P(z), Q(z))，𝒟 为 P 与 Q 不同的集合。
• 该界是最优的，即对任意 ṕ > 0，存在分布 P 和 Q，使得当 n 增大时，实际 δ(Pⁿ, Qⁿ) 与该界之比趋近于 1（当 δ(Pⁿ, Qⁿ) ≪ 1 时）。
• 还推导出一个更紧的界：δ(Pⁿ, Qⁿ) ≤ (1/√(πṕ)) √(n + 1/ṕ) δ(P, Q)，该界在渐近意义下是最优的。
• √(n/(2ṕ)) 中的常数 1/2 是使不等式 δ(Pⁿ, Qⁿ) ≤ √(cn/ṕ) δ(P, Q) 对所有具有最小概率 ṕ 的 P、Q 普遍成立的最小可能值。
• 该结果与文献 [4] 中已知的下界相辅相成，后者表明在某些条件下 δ(Pⁿ, Qⁿ) ≥ Ω(√n) δ(P, Q)，从而确认了 √n 增长速率的紧致性。
• 证明方法通过一系列中间分布和三角不等式，将两点差值的界推广至一般分布，利用路径积分保持界的有效性。