[论文解读] Non-Gaussian Component Analysis via Lattice Basis Reduction

Ilias Diakonikolas, Daniel M. Kane|arXiv (Cornell University)|Dec 16, 2021

Blind Source Separation Techniques被引用 6

一句话总结

本文提出了一种样本和计算效率高的非高斯分量分析（NGCA）算法，适用于底层非高斯分布为离散或近似离散的情况，利用LLL算法进行格基约化。该方法通过证明此类分布不具有统计查询（SQ）困难性，克服了以往的信息-计算权衡，实现了在样本复杂度和时间复杂度上相对于先前方法的指数级改进。

ABSTRACT

Non-Gaussian Component Analysis (NGCA) is the following distribution learning problem: Given i.i.d. samples from a distribution on $\mathbb{R}^d$ that is non-gaussian in a hidden direction $v$ and an independent standard Gaussian in the orthogonal directions, the goal is to approximate the hidden direction $v$. Prior work \cite{DKS17-sq} provided formal evidence for the existence of an information-computation tradeoff for NGCA under appropriate moment-matching conditions on the univariate non-gaussian distribution $A$. The latter result does not apply when the distribution $A$ is discrete. A natural question is whether information-computation tradeoffs persist in this setting. In this paper, we answer this question in the negative by obtaining a sample and computationally efficient algorithm for NGCA in the regime that $A$ is discrete or nearly discrete, in a well-defined technical sense. The key tool leveraged in our algorithm is the LLL method \cite{LLL82} for lattice basis reduction.

研究动机与目标

• 解决非高斯分布为离散或近似离散时，NGCA中信息-计算权衡是否仍然存在的开放问题。
• 在先前的SQ下界不适用的条件下，开发一种计算高效的NGCA算法。
• 利用格基约化（LLL）方法，在高维数据中以最少样本恢复隐藏的非高斯方向。
• 证明LLL方法在离散情形下相对于矩匹配和SQ方法实现了指数级改进。
• 建立该算法在离散或近似离散非高斯分量下达到近似最优样本复杂度且运行时间为多项式时间的性质。

提出的方法

• 该算法使用LLL算法进行格基约化，以在由数据构造的格中寻找短向量，利用离散分布的代数结构。
• 从独立同分布的样本构造一个格，使得隐藏方向对应于对偶格中的一个短向量。
• 该方法依赖于：对于离散分布，内积 $v \cdot x_i$ 接近于基向量的整数线性组合，从而实现格的恢复。
• 该算法执行一系列操作，包括投影、数据舍入以及近似特征值计算，以分离出隐藏方向。
• 它使用LLL算法在格中寻找一个短向量，该向量以指数级小的误差逼近真实隐藏方向 $v$。
• 分析表明，以高概率，归一化后的输出向量与 $\pm v$ 的 $\ell_2$ 范数误差呈指数级接近，即使在数据舍入后依然成立。

实验结果

研究问题

• RQ1 当非高斯分布为离散时，NGCA中的信息-计算权衡是否仍然存在？
• RQ2 能否利用格基约化设计出在离散情况下运行时间多项式化的NGCA算法？
• RQ3 当非高斯分量为离散或近似离散时，NGCA的样本复杂度是多少？
• RQ4 在缺乏矩匹配约束的条件下，LLL算法如何实现隐藏方向的恢复？
• RQ5 该算法能否在离散情形下实现次指数级样本复杂度，从而绕过SQ下界？

主要发现

• 该算法以至多 $\ell_2$-误差 $N^{-1}2^{O(m^2k^2/(m-d))}B^{O(mk/(m-d))}$ 恢复隐藏的非高斯方向 $v$，在合适的参数设置下该误差呈指数级小。
• 当 $m = 2d$ 个样本时，误差 $\epsilon < 2^{-C'dk^2}B^{-C'dk}$，确保归一化输出与 $\pm v$ 指数级接近。
• 当 $m = d+1$ 个样本时，只要 $\epsilon < 2^{-C'd^2k^2}B^{-C'dk}$，该方法即可运行，表明其具有接近最优的样本效率。
• 该算法在维度 $d$、样本数 $m$ 和比特复杂度 $\mathrm{poly}(md\log B)$ 的多项式时间内运行。
• 基于LLL的方法成功绕过了先前工作中关于SQ困难性的结果，后者仅适用于具有有限卡方散度的连续非高斯分布。
• 分析表明，舍入数据不会显著影响算法的正确性，因为所需的结构性质（如近似整数线性组合）得以保持。