[论文解读] Smoothed Analysis of Discrete Tensor Decomposition and Assemblies of Neurons

Nima Anari, Constantinos Daskalakis+4 more|arXiv (Cornell University)|Oct 28, 2018

Tensor decomposition and applications参考文献 4被引用 6

一句话总结

本文提出了一种离散张量分解的平滑分析框架，确保在包括离散扰动在内的普遍扰动下，秩一张量具有鲁棒的线性无关性。该框架可高效重构表示神经元集合的稀疏文氏图，基于交集测量结果，证明在随机扰动下，多项式数量的测量足以实现精确恢复，且相比先前工作，运行时间与误差界均有改进。

ABSTRACT

We analyze linear independence of rank one tensors produced by tensor powers of randomly perturbed vectors. This enables efficient decomposition of sums of high-order tensors. Our analysis builds upon [BCMV14] but allows for a wider range of perturbation models, including discrete ones. We give an application to recovering assemblies of neurons. Assemblies are large sets of neurons representing specific memories or concepts. The size of the intersection of two assemblies has been shown in experiments to represent the extent to which these memories co-occur or these concepts are related; the phenomenon is called association of assemblies. This suggests that an animal's memory is a complex web of associations, and poses the problem of recovering this representation from cognitive data. Motivated by this problem, we study the following more general question: Can we reconstruct the Venn diagram of a family of sets, given the sizes of their $\ell$-wise intersections? We show that as long as the family of sets is randomly perturbed, it is enough for the number of measurements to be polynomially larger than the number of nonempty regions of the Venn diagram to fully reconstruct the diagram.

研究动机与目标

• 开发一种处理离散扰动的张量分解平滑分析框架，扩展先前仅限于连续噪声模型的工作。
• 实现从其 ℓ 重交集测量中高效重构表示神经元集合的稀疏文氏图。
• 建立在底层集合经随机扰动后，多项式数量的测量足以重构完整文氏图的理论依据。
• 通过带有概率集合运算的软模型，对神经记忆系统中关联图的可表示性进行建模与分析。

提出的方法

• 引入“阶梯树”——高阶张量高斯消去法的推广——作为分析张量分解中线性无关性的核心工具。
• 采用平滑分析方法，其中对抗性选择的张量通过离散噪声（如超立方体中的采样）进行扰动，以确保在高概率下保持鲁棒的线性无关性。
• 应用詹尼施算法（查恩引理）通过利用扰动后秩一分量的鲁棒线性无关性，对高阶张量和进行分解。
• 将神经元集合建模为大小为 K 的固定集合，其在包含 N 个神经元的全集内，交集表示认知关联。
• 提出一种“软模型”，其中集合通过概率运算（并集、交集、集合差及以概率 p 独立采样）构建，并分析保持预期交集阈值的概率。
• 采用组合与概率技术，包括区组设计理论与集中不等式，推导关联图的可表示性条件。

实验结果

研究问题

• RQ1 当输入分量受到离散噪声（如超立方体采样）而非仅高斯噪声扰动时，张量分解是否仍可高效执行？
• RQ2 在集合经随机扰动后，何时可仅通过 ℓ 重交集测量完全重构一组集合的文氏图？
• RQ3 在离散扰动下，为以高概率重构稀疏文氏图，最少需要多少交集测量？
• RQ4 哪些关联图可通过仅使用概率集合运算在神经记忆模型中以高概率实现？
• RQ5 带有概率集合构造的软模型如何影响神经元集合系统中复杂关联图的可表示性？

主要发现

• 本文表明，对于 ℓ 阶张量，运行时间与误差容限在 n^ℓ 上呈多项式增长，显著优于先前工作中 n^{3^ℓ} 的依赖关系。
• 在如从超立方体采样等离散扰动下，秩一张量仍以高概率保持鲁棒线性无关，从而支持高效分解。
• 对于总方差为 ρ² 的高斯扰动，失败概率被限制在 exp(O(ℓ log n) − Ω(n/ℓ))，相比 Bhaskara 等人 [3] 的 exp(−Θ(n^{1/3^ℓ})) 上界，具有指数级改进。
• 在全集大小 N=K² 下，任何最大度数不超过 2K/a 的图，均可使用大小为 K 的集合实现，其中 a 为关联阈值，b 为非关联阈值。
• 在软模型中，任何最大度数不超过 (1/e)·(K/a) 的图，均可仅通过基本概率集合运算以高概率实现。
• 理论保证基于区组设计理论与集中不等式推导，表明在现实计算约束下，复杂关联图可被嵌入神经记忆系统。