[论文解读] Sample Amplification: Increasing Dataset Size even when Learning is Impossible

Brian Axelrod, Shivam Garg+2 more|arXiv (Cornell University)|Apr 26, 2019

Statistics Education and Methodologies被引用 4

一句话总结

该论文提出样本放大（sample amplification）方法，通过少量原始数据集生成更大的合成数据集，使得放大后的样本在统计上与来自真实分布的独立同分布（i.i.d.）样本无法区分。研究表明，对于元素数不超过k的有界离散分布，以及协方差固定的d维高斯分布，即使n小到不足以学习分布，仍可实现Θ(n/√k)和Θ(n/√d)的样本放大，证明了忠实的数据放大无需分布学习。

ABSTRACT

Given data drawn from an unknown distribution, $D$, to what extent is it possible to ``amplify'' this dataset and output an even larger set of samples that appear to have been drawn from $D$? We formalize this question as follows: an $(n,m)$ $\ ext{amplification procedure}$ takes as input $n$ independent draws from an unknown distribution $D$, and outputs a set of $m > n$ ``samples''. An amplification procedure is valid if no algorithm can distinguish the set of $m$ samples produced by the amplifier from a set of $m$ independent draws from $D$, with probability greater than $2/3$. Perhaps surprisingly, in many settings, a valid amplification procedure exists, even when the size of the input dataset, $n$, is significantly less than what would be necessary to learn $D$ to non-trivial accuracy. Specifically we consider two fundamental settings: the case where $D$ is an arbitrary discrete distribution supported on $\\le k$ elements, and the case where $D$ is a $d$-dimensional Gaussian with unknown mean, and fixed covariance. In the first case, we show that an $\\left(n, n + \\Theta(\\frac{n}{\\sqrt{k}})\ ight)$ amplifier exists. In particular, given $n=O(\\sqrt{k})$ samples from $D$, one can output a set of $m=n+1$ datapoints, whose total variation distance from the distribution of $m$ i.i.d. draws from $D$ is a small constant, despite the fact that one would need quadratically more data, $n=\\Theta(k)$, to learn $D$ up to small constant total variation distance. In the Gaussian case, we show that an $\\left(n,n+\\Theta(\\frac{n}{\\sqrt{d}} )\ ight)$ amplifier exists, even though learning the distribution to small constant total variation distance requires $\\Theta(d)$ samples. In both the discrete and Gaussian settings, we show that these results are tight, to constant factors. Beyond these results, we formalize a number of curious directions for future research along this vein.

研究动机与目标

• 形式化生成一个更大数据集的问题，使其在统计上与从未知分布D中独立同分布抽取的样本无法区分。
• 探究是否可能在输入样本数量不足以以非平凡精度学习D时，仍能将数据集放大至非平凡程度。
• 在两个基础场景下建立最大放大能力的紧致边界：有界离散分布和协方差固定的高维高斯分布。
• 证明即使输入样本数n远小于分布学习所需的样本复杂度，放大仍是可能的。
• 探讨数据放大的理论与实际影响，包括在生成建模和鲁棒性测试中的应用。

提出的方法

• 将样本放大形式化为(n,m)过程：函数f将n个样本映射为m > n个样本，使得输出与从D中抽取的m个i.i.d.样本之间的总变差距离≤1/3。
• 采用验证器框架：通过区分器检测统计异常（如唯一元素数量）来判断放大数据集是真实还是合成的。
• 利用集中不等式（如Hoeffding型界）分析唯一元素数量E[U^n]的期望及其集中性，表明产生过多或过少唯一元素的放大器可被检测。
• 构建一种放大器，利用输入n个样本的经验分布，并通过从经验分布的平滑版本中采样来添加新样本，确保统计不可区分性。
• 通过构造能检测唯一样本数量偏差的验证器，证明放大边界紧致性，表明任何超过边界的放大器都可被高概率区分。
• 应用切比雪夫与切尔诺夫型不等式，建立输入集与放大集中唯一样本数量的集中性，使验证器能以高置信度区分真实与合成数据。

实验结果

研究问题

• RQ1 我们能否从少量样本生成更大的数据集，使得放大后的数据在统计上与真实分布D的i.i.d.样本无法区分？
• RQ2 当输入样本数量过少而无法以非平凡精度学习D时，是否仍可实现数据放大？
• RQ3 在n和D的复杂度（如离散分布的k，高斯分布的d）的条件下，我们最多可放大多少样本？
• RQ4 我们能否证明在离散和高斯设定下，所提出的放大边界在常数因子内是紧致的？
• RQ5 此类放大的影响对生成建模、分布检验和机器学习中的鲁棒性评估有何意义？

主要发现

• 对于任意最多有k个支撑元素的离散分布，存在一个(n, n + Θ(n/√k))的放大过程，即使n = O(√k)，这比学习D所需的Θ(k)样本量小了二次方量级。
• 对于协方差固定的d维高斯分布，存在一个(n, n + Θ(n/√d))的放大过程，尽管学习该分布需要Θ(d)个样本。
• 放大边界在常数因子内是紧致的：对于离散分布，不存在(n, n + ω(n/√k))的放大器；对于高斯分布，也不存在(n, n + ω(n/√d))的放大器。
• 放大过程无需学习D；放大器仅使用输入样本的经验分布，并通过精心设计的平滑机制添加新样本。
• 若唯一元素数量显著偏离期望值，验证器可高概率区分放大数据与真实i.i.i.d.样本，从而证明边界的紧致性。
• 结果表明，统计不可区分性可在远少于分布学习所需样本数下实现，揭示了学习与放大之间存在根本性差异。